Ошибка синхронизации рабочих потоков данных Pod Python ⇐ Python

[Anonymous]

Я создал свой собственный образ Python для потоковой передачи данных и проверил его работу локально. При развертывании в GCP он извлекает изображения, журналы заданий инициализируют минимум 1 работника, задание находится в состоянии ВЫПОЛНЕНИЕ. Я вижу журналы, которые я распечатал при запуске конвейера. Однако, когда я публикую сообщения pubsub в своем потоке, ничего не происходит, просто увеличивается показатель свежести данных, у рабочих возникают странные ошибки (которые отмечают серьезность информации) о флагах, которые я не контролирую:

Код: Выделить всё

flag provided but not defined: -logging_endpoint
Usage of /opt/google/dataflow/python_template_launcher:
...

И при просмотре журналов dataflow_step (не отображается в консоли Dataflow Worker) в GCP я вижу константу (не уверен, связаны ли эти два):

Код: Выделить всё

"Error syncing pod, skipping" err="failed to \"StartContainer\" for \"sdk-0-0\" with CrashLoopBackOff: \"back-off 10s restarting failed container=sdk-0-0 pod=df-myjob-she-09170618-0m8p-harness-vmzx_default(ce159539391472095ac26571c8a6ceb2)\"" pod="default/df-myjob-she-09170618-0m8p-harness-vmzx" podUID=ce159539391472095ac26571c8a6ceb2

Вот файл docker (все, что прокомментировано, было ранее в Google-документах и ​​опробовано):

Код: Выделить всё

FROM gcr.io/dataflow-templates-base/python311-template-launcher-base:latest

WORKDIR /template

COPY . /template/

ENV FLEX_TEMPLATE_PYTHON_PY_FILE="src/dataflow.py"

RUN apt-get update \
&& apt-get install -y libffi-dev git \
&& rm -rf /var/lib/apt/lists/* \
# Upgrade pip and install the requirements.
# && pip install --upgrade pip \
# && pip install -e .
# && pip install --no-cache-dir -r "/template/requirements-pypi.txt" \
# Download the requirements to speed up launching the Dataflow job.
# && pip download --no-cache-dir --dest /tmp/dataflow-requirements-cache -r "/template/requirements-pypi.txt"

ENTRYPOINT ["/opt/google/dataflow/python_template_launcher"]

Вот как я начинаю свою работу:

Код: Выделить всё

gcloud dataflow flex-template run "myjob" \
--project="xxx" \
--region="europe-north1" \
--template-file-gcs-location="gs://xxx/templates/myjob-template.json" \
--parameters=^::^pubsub_topic=projects/xxx/topics/senior-cash-transactions::staging_location=gs://xxx/temp::sdk_container_image=europe-north1-docker.pkg.dev/xxx/xxx/xxx:latest \
--temp-location="gs://xxx/temp" \
--additional-experiments="enable_secure_boot" \
--disable-public-ips \
--network="xxx" \
--subnetwork="https://www.googleapis.com/compute/v1/projects/xxx/regions/europe-north1/subnetworks/xxx-europe-north1" \
--worker-machine-type="e2-standard-8" \
--service-account-email="xxx@xxx.iam.gserviceaccount.com"

Учетная запись службы имеет администратора pubsub, работника потока данных, администратора потока данных, администратора gcs, сетевого пользователя, автора журнала и всего, о чем я мог подумать во время отладки.
Кроме того, вот несколько журналов, которые я вижу (фильтр – dataflow_step и job_id):


Я рассмотрел несколько связанных тем, например «Почему я сделал это?» столкнулись с «модулем синхронизации ошибок» с конвейером потока данных?, а также в Документах Google для каждого соответствующего сообщения об ошибке (https://cloud.google.com/dataflow/docs/ ... yncing-pod), до сих пор я пробовал:

• Изменение версий Apache Beam
• В соответствии с другим потоком удаление требований.txt и настройка зависимостей с файлом setup.py и пересборкой образа.
• Удаление требований и настроек из Dockerfile, как будто зависимости уже есть в образе, чтобы избежать конфликтов, и пересборка образа.
• Проверил настройки брандмауэра в моем VPC и Firewall GCP, ничего нет.
• Проверил все разрешения IAM для сервисного аккаунта

Подробнее здесь: https://stackoverflow.com/questions/789 ... ow-workers