Проблемы с производительностью и сбои в работе при переключении с Dataflow Runner v1 на v2 в Java Beam SDK. ⇐ JAVA

[Anonymous]

Я запустил конвейер данных с помощью Dataflow Runner v1 с Java Beam SDK без каких-либо проблем. Недавно мы попытались перенести конвейер на Runner v2, но столкнулись со следующими проблемами:

• Сбой рабочего процесса: мы наблюдаем, что загрузка ЦП рабочим процессом внезапно падает до 0. %, а затем виртуальная машина умирает.
• Более высокое использование ресурсов: один и тот же конвейер потребляет значительно больше ресурсов (ЦП и памяти) при запуске на Runner v2 по сравнению с Runner v1.

Для справки я прикрепил два изображения, показывающие использование ресурсов для одного и того же конвейера в Runner v1 и Runner v2.
Runner v1 :


Runner v2:


Оба конвейера работают параллельно и обрабатывают один и тот же трафик< /p>
Мы попробовали:

• Проверили журналы на наличие соответствующих ошибок или предупреждений — ничего не выдалось.
  p>
• Мониторинг различных метрик, но мы не нашли ничего полезного, объясняющего разницу в производительности.
  Вопросы:
• Известна ли эта проблема с Dataflow Runner v2?
• Существуют ли какие-либо известные несовместимости или определенные функции, которые не работают с Runner v2 в Java Beam SDK?
• Есть ли какие-либо рекомендации по оптимизации или дополнительные какие действия следует предпринять при переходе с Runner v1 на v2?
• Будем признательны за любые рекомендации и советы по устранению неполадок!

Подробнее здесь: https://stackoverflow.com/questions/790 ... nner-v1-to