KAFKA Commit после того, как убедится, что все сообщения фактически обрабатывались ⇐ C#

[Anonymous]

Таким образом, предположение здесь заключается в том, что тема будет иметь группу потребителей с несколькими потребителями с несколькими разделами. Ну, может быть, то же решение может потребоваться даже подумать с одним разделом и одним потребителем по теме, когда потребитель делегирует асинхронно длинные задачи для актеров или потоков. < /P>
Так что здесь нужно сделать Руководство Consumer.commit () или Consumer.commitasync () потребуется, чтобы убедиться, что перебалансировка или возобновление после аварийного восстановления гарантируют целостность данных без пропусков или дубликатов, когда все будет возвращаться и запустить снова.
Для достижения этого также необходимо учитывать, что совершенное смещение действительно означает, что все предыдущие сообщения в предыдущих смещениях обрабатываются только один раз, но, несомненно, завершены. < /p>
Я слышал о Индивидуальная служба «комитета», которая, например, убедитесь, что запрос на коммунацию пришел в отношении Offset 102, тогда эта служба фактически убедитесь, что Commit Sffset 102 безопасен, проверяя все сообщения от текущего смещения (допустим, это на 90) до запрошенного смещения ( 102) все обрабатываются. < /P>
задаюсь вопросом, действительно ли этот тип пользовательского сервиса действительно необходим, и если да, то, то что будет лучшим способом достижения этого, возможно, какой -то центральный государственный сервис (Redis или некоторые База данных), чтобы сохранить совершенную историю и запросы на совершение коммит или, если это излишний, а Кафка фактически предоставляет некоторые функции, касающиеся этого типа сценария.

Подробнее здесь: https://stackoverflow.com/questions/737 ... -processed