Celery + Redis + Python: WorkerLostError(billiard.Exceptions.WorkerLostError: Worker вышел преждевременно: сигнал 6 (SIG ⇐ Python

[Anonymous]

При попытке использовать Celery с Redis в качестве брокера для моего приложения FastAPI, где каждая конечная точка использует функции, интенсивно использующие память, с моделями диффузоров, теперь я сталкиваюсь с ошибкой

WorkerLostError(billiard.Exceptions.WorkerLostError: Worker завершился преждевременно: сигнал 6 (SIGABRT) Job: 0.)

каждый раз, когда я используйте --pool=prefork.
Это не отображается, когда я использую --pool=solo, но при этом --concurrency не используется , но мне нужно убедиться, что --concurrency=3 реализован как приложение производственного уровня и к нему одновременно будут обращаться многие люди. Итак, мне нужно, чтобы он обрабатывал 3 запроса одновременно.
Вот трассировка ошибки:

Код: Выделить всё

2024-07-08T12:45:12.751006109Z malloc(): unaligned tcache chunk detected
2024-07-08T12:45:13.000818714Z [2024-07-08 12:45:13,000: ERROR/MainProcess] Process 'ForkPoolWorker-1' pid:1010 exited with 'signal 6 (SIGABRT)'
2024-07-08T12:45:13.017095419Z [2024-07-08 12:45:13,014: ERROR/MainProcess] Task handler raised error: WorkerLostError('Worker exited prematurely: signal 6 (SIGABRT) Job: 0.')
2024-07-08T12:45:13.017111918Z Traceback (most recent call last):
2024-07-08T12:45:13.017116005Z   File "/usr/local/lib/python3.10/site-packages/billiard/pool.py", line 1264, in mark_as_worker_lost
2024-07-08T12:45:13.017119242Z     raise WorkerLostError(
2024-07-08T12:45:13.017122614Z billiard.einfo.ExceptionWithTraceback:
2024-07-08T12:45:13.017125314Z """
2024-07-08T12:45:13.017128427Z Traceback (most recent call last):
2024-07-08T12:45:13.017130962Z   File "/usr/local/lib/python3.10/site-packages/billiard/pool.py", line 1264, in mark_as_worker_lost
2024-07-08T12:45:13.017133636Z     raise WorkerLostError(
2024-07-08T12:45:13.017136084Z billiard.exceptions.WorkerLostError: Worker exited prematurely: signal 6 (SIGABRT) Job: 0.
2024-07-08T12:45:13.017139686Z """

PS: у меня на сервере достаточно памяти и вычислительной мощности с мощными графическими процессорами и многоядерными процессорами, и я запускаю это в докере с супервизором в качестве команды CMD для запуска сельдерея и uvicorn/gunicorn. вместе.

Подробнее здесь: https://stackoverflow.com/questions/787 ... sterror-wo