MySQL High Использование процессора с задачами сельдерея в Django Application: Как оптимизировать? ⇐ MySql

[Anonymous]

В моем приложении Django я использую сельдерей для выполнения задач ввода/вывода. Эти задачи в первую очередь запрашивают базу данных MySQL, и в зависимости от определенных условий я использую Time.sleep () с задержками в диапазоне от 10 до 30 секунд в логике задачи. < /P>
Вот как я есть Запуск моих работников сельдерея и Планировщик Beat:
root 3847389 0,1 1,5 8484488 122428? S 12:50 0:30/usr/bin/python3 -m celery -a appname Работник -l info -f /var/log/celery/celery_prod.log -n prod@worker -p gevent -c 1000
Корень 3847579 0,0 1,2 138048 99892? S 12:50 0:10/usr/bin/python3/usr/local/bin/selerery -a appname beat -l info -s django -f /var/log/celery/celery_beat_prod.log ---detach
Корень 3856049 0,3 1,4 438604 119620? Sl 14:37 0:46/usr/bin/python3 -m celery -a appname Работник -l info -f /var/log/celery/celery_prod.log -n prod@keormer -c 4 -prefetch-multiplier = 1 -Пол = потоки
root 3856145 0,3 1,5 438984 120280? Sl 14:37 0:54/usr/bin/python3 -m celery -a appname Работник -l info -f /var/log/celery/celery_prod.log -n prod@worker -c 4 -prefetch-multiplier = 1 -Пол = потоки
####+ 3877574 0.0 0.0 4732 668 PTS /0 S+ 18:49 0:00 Греп-сельдерей < /p>
Проблема состоит Высокое использование процессора (до 190%), которое замедляет все применение. Это включает в себя вызывание тайм -аутов в ответах API со стороны IoT.
Если я использую только один сельдерей, задачи в очереди в Rabbitmq, если рабочие не могут не отставать, в результате чего очередь расти. < /P>
Любое руководство было бы полезны. Достигнув 10к -20K в ожидании задач в течение 2 дней. Несмотря на то, что это помогло уменьшить накопление очередей, это привело к высокому использованию процессора MySQL. Журналы.
нет ошибок подключения в MySQL или ошибках с разбитыми трубками в сельдерее. Изменил логику моей задачи, поэтому я не подозреваю неэффективные запросы.
Я ищу оптимизацию в конфигурации работника сельдерея, настройках MySQL или любых лучших практик, чтобы сбалансировать нагрузку. < /p>

Подробнее здесь: https://stackoverflow.com/questions/793 ... o-optimize