Использование Helix для эластичного управления нагрузкой, что-то вроде Kafka Consumer Group. ⇐ JAVA

[Anonymous]

Я пытаюсь создать приложение. Мне приходится запускать задание бесконечно, т. е. в то время как (правда). Чтобы увеличить производительность задания, оно разбивается на разделы.
Мы можем сравнить это с Kafka Consumer, который также поддерживает перебалансировку разделов. И мы можем увеличить или уменьшить количество потребительских потоков в зависимости от ожидаемой пропускной способности, а после ребалансировки нагрузка будет распределяться равномерно. Но даже если существует один экземпляр/поток потребителя, он все равно будет потреблять данные из всех разделов.
Я определил задание как спиральный ресурс с StateModel OnlineOffline и получил то же самое номер раздела, как описано выше. Я определил StateModelFactory и StateModel. В реализации StateModel я реализовал запуск и остановку выполнения раздела.
Чтобы обеспечить доступность контроллера, я развернул 3 контроллера в режиме кластера с помощью LeaderStandby StateModel.Возможно, я что-то упустил или мое понимание Helix неверно. Но я столкнулся со сценарием при запуске участников в качестве спотовых инстансов в ASG. Иногда некоторые разделы переназначаются, но новый участник, которому был назначен раздел, StateModelFactory.createNewStateModel не вызывается, а также не вызывается функция StateModel для перехода OFFLINE -> ONLINE.
Я следил за этим рецепт: https://github.com/apache/helix/tree/ma ... -execution
Пожалуйста, помогите.
Любой другие предложения по реализации того же самого будут также очень приветствоваться. Я хотел избежать реализации назначения разделов с помощью Zookeeper, так как это было бы подвержено ошибкам и не было бы гибким (ограничение по времени при реализации).

Подробнее здесь: https://stackoverflow.com/questions/792 ... umer-group