Вот что у меня есть пробовал до сих пор с несколькими конфигурациями:
Версия Flink: 1.8
Загрузка: 3k событий/сек, приложение, чтобы выдержать такую нагрузку, нуждается в минимальном параллелизме не менее 16
Конфигурации
Код: Выделить всё
jobmanager.scheduler: "adaptive"
job.autoscaler.enabled: "true"
job.autoscaler.stabilization.interval: 5m
job.autoscaler.metrics.window: 5m
job.autoscaler.target.utilization: 0.7
job.autoscaler.target.utilization.boundary: 0.1
job.autoscaler.scaling.enabled: true
pipeline.max-parallelism: 128
pipeline.min-parallelism: 16
job.autoscaler.vertex.min-parallelism: 16
job.autoscaler.min-parallelism: 16
[*]Однако, когда я запускаю задание, параллелизм падает ниже значение, которое я установил для минимального параллелизма, равно 1, и оно появляется, когда параллелизм приложений переопределяется.
[*]Настройка параллелизма через код также переопределяется адаптивным автомасштабированием flink.
Подробнее здесь: https://stackoverflow.com/questions/789 ... r-in-flink
Мобильная версия