Полное параллельное выполнение задач (1 задача на каждый модуль прослушивателя) в Celery. ⇐ Python

[Anonymous]

Я работаю над приложением распределенной обработки, которое должно работать как можно быстрее. У меня есть развертывание, в котором ведущее приложение записывает задачи сельдерея в Redis и имеет N прослушивающих рабочих для выполнения задачи.
Я сравнил свой процесс с тем, что 1 рабочий обрабатывает 1 задачу точно так же быстро как мне нужно. Затем мне нужно увеличить x100 для фактического варианта использования распределенной обработки. Таким образом, я запускаю 110 рабочих процессов для прослушивания 100 задач в очереди. Я ожидал, что 100 рабочих будут обрабатывать 100 задач полностью параллельно, но на практике я вижу, как некоторые рабочие берут несколько задач из очереди, в то время как другие ничего не обрабатывают. Это противоречит цели моего сравнительного тестирования, поскольку я не могу заставить своего рабочего приложения работать достаточно быстро для обработки нескольких задач — мне нужно, чтобы это делалось полностью параллельно.
Я выполняю свою задачу в group и, в конечном итоге, конфигурация по сути является стандартной, за исключением переопределения, которое я обнаружил с помощью множителя предварительной выборки и настройки ack_late (см. ниже):

Код: Выделить всё

app.conf.update(
worker_prefetch_multiplier=1,
task_acks_late=True
)

Могу ли я настроить что-то еще, чтобы все параллельные рабочие выполняли 1 задачу одновременно, а мое общее время обработки 100 задач примерно равнялось моему контрольному времени 1 задачи (в основном в пределах отклонения)?< /p>
Спасибо за любую информацию/помощь!
Я перепробовал большое количество настроек конфигурации сельдерея, но изо всех сил пытаюсь найти идеальную комбинацию

Подробнее здесь: https://stackoverflow.com/questions/792 ... -in-celery