Ошибка с Celery+S3 celery.Exceptions.ImproperlyConfigured: отсутствует имя сегмента ⇐ Python

[Anonymous]

Это мой сценарий для использования сельдерея на SQS и S3 в качестве серверной части результата:

Код: Выделить всё

from celery import Celery

from celery.backends.s3 import S3Backend

# Set your SQS queue URL
sqs_queue_url = 'https://sqs.eu-central-1.amazonaws.com/938891507445/test-sqs-queue'

app = Celery('tasks')

app.conf.update(
broker='sqs://',
broker_transport_options={
'region': 'eu-central-1',
'predefined_queues': {
'celery': {
'url': sqs_queue_url,
},
},
'task_create_missing_queues': False,
},
result_backend='s3://',  # Use a string URL format for the backend
result_backend_transport_options={
'region_name': 'eu-central-1',
'bucket_name': 'celery-back',
'prefix': 'celery-results',
'expiration': 3600,
}
)

# Define a simple Celery task
@app.task
def add(x, y):
return x + y

# Example usage: calling the task
if __name__ == '__main__':
result = add.delay(4, 6)
print(f'Task result: {result.get(timeout=10)}')

Но когда я пытаюсь запустить его с использованием сельдерея 5.4, вот так:

Код: Выделить всё

poetry run celery -A cel worker --loglevel=info

И ошибка говорит:

Код: Выделить всё

root@ip:/app# poetry run celery -A cel worker --loglevel=info
/app/.venv/lib/python3.9/site-packages/celery/platforms.py:829: SecurityWarning: You're running the worker with superuser privileges: this is
absolutely not recommended!

Please specify a different user using the --uid option.

User information: uid=0 euid=0 gid=0 egid=0

warnings.warn(SecurityWarning(ROOT_DISCOURAGED.format(
[2024-12-02 21:09:28,126: WARNING/MainProcess] No hostname was supplied. Reverting to default 'localhost'
[2024-12-02 21:09:28,145: CRITICAL/MainProcess] Unrecoverable error: ImproperlyConfigured('Missing bucket name')
Traceback (most recent call last):
File "/app/.venv/lib/python3.9/site-packages/celery/worker/worker.py", line 202, in start
self.blueprint.start(self)
File "/app/.venv/lib/python3.9/site-packages/celery/bootsteps.py", line 112, in start
self.on_start()
File "/app/.venv/lib/python3.9/site-packages/celery/apps/worker.py", line 135, in on_start
self.emit_banner()
File "/app/.venv/lib/python3.9/site-packages/celery/apps/worker.py", line 169, in emit_banner
' \n', self.startup_info(artlines=not use_image))),
File "/app/.venv/lib/python3.9/site-packages/celery/apps/worker.py", line 231, in startup_info
results=self.app.backend.as_uri(),
File "/app/.venv/lib/python3.9/site-packages/celery/app/base.py", line 1303, in backend
self._backend = self._get_backend()
File "/app/.venv/lib/python3.9/site-packages/celery/app/base.py", line 971, in _get_backend
return backend(app=self, url=url)
File "/app/.venv/lib/python3.9/site-packages/celery/backends/s3.py", line 47, in __init__
raise ImproperlyConfigured('Missing bucket name')
celery.exceptions.ImproperlyConfigured: Missing bucket name

Я запустил сценарий, чтобы поместить файл в S4 и отправить сообщение в SQS из той же среды, поэтому проблем с именем сегмента или разрешениями нет.

Подробнее здесь: https://stackoverflow.com/questions/792 ... ucket-name