Как мне настроить очереди задач в Celery, если у меня много потребителей?Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Как мне настроить очереди задач в Celery, если у меня много потребителей?

Сообщение Anonymous »

У меня есть приложение на Celery, которое имеет несколько рабочих процессов с конвейерной архитектурой и взаимодействует с RabbitMQ.
Последовательность действий выглядит следующим образом:
обучение рабочих -> прогноз рабочих
то есть , обучение работников отправляет задачи в прогноз работника (и ждет результата, чтобы продолжить процесс обучения работников)
Для обучения работников у меня есть 3 реплики, а для прогноза работников — 2 реплики.
Все задачи из обучения работников отправляются в одну очередь в прогнозе работника, называемую Training-forecast-dev
Проблема в том, что методология обучения работников является жадной и охватывает всю доступность прогноза работника, оставляя два других экземпляра обучения работников. без возможности продолжения их течения. Как мне следует подойти/спроектировать очереди в этом случае или какой подход мне следует предпринять, чтобы избежать этого?

Подробнее здесь: https://stackoverflow.com/questions/783 ... -consumers
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Автоматическое обнаружение задач Celery из подпапки модулей задач
    Anonymous » » в форуме Python
    0 Ответы
    10 Просмотры
    Последнее сообщение Anonymous
  • Ошибка с Celery+S3 celery.Exceptions.ImproperlyConfigured: отсутствует имя сегмента
    Anonymous » » в форуме Python
    0 Ответы
    28 Просмотры
    Последнее сообщение Anonymous
  • Расписание задач Celery (обеспечение выполнения задачи только по одной)
    Anonymous » » в форуме Python
    0 Ответы
    16 Просмотры
    Последнее сообщение Anonymous
  • Проблемы с обработкой задач Celery в Windows
    Anonymous » » в форуме Python
    0 Ответы
    41 Просмотры
    Последнее сообщение Anonymous
  • Проблемы с обработкой задач Celery в Windows
    Anonymous » » в форуме Python
    0 Ответы
    14 Просмотры
    Последнее сообщение Anonymous

Вернуться в «Python»