Client_loop: отправка отключения: сломанная труба ⇐ Python

[Anonymous]

В моей группе обеспечения доступности баз данных Airflow у меня есть следующий шаг:

Код: Выделить всё

training = BashOperator(
task_id=f"training",
bash_command=f"echo 'wait for VM initialization' && sleep 60 && "
f"gcloud config set account xx && "
f"gcloud compute ssh {SERVICE_ACCOUNT.split('@')[0]}@{x} "
f"--tunnel-through-iap "
f"--ssh-flag='-o ServerAliveInterval=60' "
f"--ssh-flag='-o ServerAliveCountMax=5' "
f"--command {train_cmd}",
retry_delay=timedelta(minutes=2),
)

Я запускаю этот фрагмент кода внутри виртуальной машины на GCP:

Код: Выделить всё

print("fitting model")
tr.model_fit()

Код: Выделить всё

def model_fit(self):

self.model = YouTubeRanking(
task="ranking",
data_info=self.data_info,
embed_size=16,
n_epochs=7,
lr=1e-4,
batch_size=512,
use_bn=True,
hidden_units=(128, 64, 32),

self.model.fit(
self.train_data,
neg_sampling=True,
verbose=0,
shuffle=True,
eval_data=self.test_data,
metrics=["loss"],
)

Иногда этот шаг завершается с ошибкой из-за этой ошибки в функции model_fit. Иногда это происходит сразу после начала этапа подгонки модели. Иногда это происходит по прошествии нескольких часов. Однако в большинстве случаев это работает нормально. Существенной разницы в объеме данных, передаваемых в модель, нет.

Код: Выделить всё

client_loop: send disconnect: Broken pipe

Что мне сделать, чтобы этого избежать? Я уже добавил флаги ssh, но они не помогли.


Подробнее здесь: https://stackoverflow.com/questions/798 ... roken-pipe