Итак, в Starrocks у меня есть канал, который ищет новые файлы в моей корзине s3, теперь я хотел бы разместить этот файл во временной таблице, которая будет перезаписана последним файлом, попавшим в мою корзину s3. Но канал Starrocks не поддерживает INSERT OVERWRITE, так как же можно добиться чего-то подобного? Мое материализованное представление выглядит примерно так.
Код: Выделить всё
CREATE MATERIALIZED VIEW mv_segmentation_manager REFRESH ASYNC AS
SELECT *
FROM segmentation_manager
WHERE segment_name NOT IN (SELECT DISTINCT segment_name FROM temp_segments)
UNION ALL
SELECT *
FROM temp_segments;
Мой канал имеет следующую конфигурацию
Код: Выделить всё
CREATE PIPE segment_manager
PROPERTIES
(
"AUTO_INGEST" = "TRUE",
"POLL_INTERVAL" = "5"
)
AS
INSERT OVERWRITE temp_segments
SELECT * FROM FILES
(
"path" = "s3://my-bucket/*.snappy.parquet",
"format" = "parquet",
"aws.s3.region" = "region",
"aws.s3.use_instance_profile" = "true"
);
По сути, что должно произойти, так это то, что мое материализованное представление проверяет имя_сегмента в последнем файле s3, исключает все строки в таблице сегментации_manager и объединяет новый файл s3. Это просто выставить без проверки. Но в настоящее время я вставляю этот файл s3 в таблицу temp_table, которая, если ее не усечь, станет очень большой в зависимости от количества файлов s3, попадающих в корзину, поэтому она должна быть пустой всякий раз, когда в корзину попадает файл s3. Усечение расписания нецелесообразно, так как оно может перекрываться с файлом s3, который попадает в корзину, и потенциально может привести к потере данных. Есть идеи, как этого можно добиться в Starrocks? Ребята, с нетерпением ждем ваших идей!
Подробнее здесь:
https://stackoverflow.com/questions/793 ... -starrocks
Мобильная версия