Apache луч Python fileio.WriteToFiles перераспределение ⇐ Python

[Гость]

Я использую fileio.WriteToFiles в потоковом конвейере Python. Я явно указал ожидаемое количество осколков следующим образом:

Код: Выделить всё

fileio.WriteToFiles(
path=...,
file_naming=fileio.default_file_naming(prefix="output", suffix=".txt"),
shards=5)

Однако конвейер, похоже, полностью проигнорировал это количество осколков. Обратите внимание, что потоковый конвейер применяет фиксированное окно в 30 минут. В каждом окне выходные файлы сегментируются следующим образом:

Код: Выделить всё

output-2020-12-14T23:30:00-2020-12-15T00:00:00--00000-00420
output-2020-12-14T23:30:00-2020-12-15T00:00:00--00001-00420
...
output-2020-12-14T23:30:00-2020-12-15T00:00:00--00419-00420
output-2020-12-15T00:00:00-2020-12-15T00:30:00--00000-00915
output-2020-12-15T00:00:00-2020-12-15T00:30:00--00001-00915
...
output-2020-12-15T00:00:00-2020-12-15T00:30:00--00914-00915

После проверки я заметил, что каждый файл содержит ровно одну запись.
Я играл с разными триггерами и max_writers_per_bundle, но этого не произошло. Это не поможет изменить такое поведение.
Интересно, это ошибка SDK или я делаю что-то не так.

Подробнее здесь: https://stackoverflow.com/questions/653 ... ersharding