Невозможно установить минимальный параллелизм с помощью адаптивного автомасштабирования во FlinkJAVA

Программисты JAVA общаются здесь
Ответить
Anonymous
 Невозможно установить минимальный параллелизм с помощью адаптивного автомасштабирования во Flink

Сообщение Anonymous »

Я работаю с Apache Flink и пытаюсь настроить параметр минимального параллелизма, используя функцию адаптивного автомасштабирования с оператором Flink K8. Моя цель — установить минимальный уровень параллелизма, ниже которого автомасштабирование не опустится, но кажется, что этот параметр игнорируется или применяется не так, как ожидалось.
Вот что у меня есть пробовал до сих пор с несколькими конфигурациями:
Версия Flink: 1.8
Загрузка: 3k событий/сек, приложение, чтобы выдержать такую ​​нагрузку, нуждается в минимальном параллелизме не менее 16
Конфигурации

Код: Выделить всё

jobmanager.scheduler: "adaptive"
job.autoscaler.enabled: "true"
job.autoscaler.stabilization.interval: 5m
job.autoscaler.metrics.window: 5m
job.autoscaler.target.utilization: 0.7
job.autoscaler.target.utilization.boundary: 0.1
job.autoscaler.scaling.enabled: true
pipeline.max-parallelism: 128
pipeline.min-parallelism: 16
job.autoscaler.vertex.min-parallelism: 16
job.autoscaler.min-parallelism: 16
Вывод:

[*]Однако, когда я запускаю задание, параллелизм падает ниже значение, которое я установил для минимального параллелизма, равно 1, и оно появляется, когда параллелизм приложений переопределяется.
[*]Настройка параллелизма через код также переопределяется адаптивным автомасштабированием flink.


Подробнее здесь: https://stackoverflow.com/questions/789 ... r-in-flink
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «JAVA»