Пакетная обработка KafkaFlow больших пакетов не работает должным образомC#

Место общения программистов C#
Ответить
Anonymous
 Пакетная обработка KafkaFlow больших пакетов не работает должным образом

Сообщение Anonymous »

У меня есть .NET-приложение, использующее Batch Consumer с библиотекой KafkaFlow. Я пытаюсь использовать большие пакеты сообщений (250 КБ) и вставлять их в базу данных. Кажется, у меня проблема с настройкой, поскольку у меня есть несколько проблем.
  • Пакет содержит только половину ожидаемого количества сообщений. Я постоянно получаю от 100 до 105 тысяч сообщений, хотя по этой теме есть отставание в 2 миллиона+ записей. Почему это происходит?
  • Похоже, что даже при таком количестве записей после завершения процесса существует значительный разрыв (3–5 минут) между завершением процесса и следующим пакетом. потребляется.
Опять же, я почти уверен, что это проблемы с конфигурацией моей потребительской настройки. Любой вклад будет оценен.

Подробнее здесь: https://stackoverflow.com/questions/792 ... s-expected
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «C#»