Скрипт ноутбука Synapse работает нормально, но останавливается на тайм-аут и застрял в очереди в трубопроводах ⇐ Python

[Anonymous]

У меня есть сценарий Python в ноутбуке, который выполняет исправление схемы с файлами. Он работает нормально, работает менее чем за 10 секунд, в зависимости от количества файлов для обработки. Не совсем хорошо, подробнее об этом ниже. Поэтому я использовал ноутбук и связал его с ноутбуком, который у меня уже есть, и настраиваю пул таким же образом. //i.sstatic.net/gpkwvn2q.png "/>
Запуск трубопровода длится более 30 минут, и приложение Spark, по -видимому, застряло в очереди в очереди. Я думаю, что когда -нибудь пройдет время. Я на самом деле не позволил ему уйти, 30 минут для сценария, который работает до 10 секунд, является явным признаком того, что что -то идет не так. вдоль штатов довольно хорошо. Однако, даже когда сценарий заканчивается (последняя строка запуска кода), он все еще отображается как работа на странице приложений Apache Spark, и он продолжает работать до тех пор, пока не будет остановлен из -за времени. «Это приложение не удалось из -за общего количества ошибок: 1. < /p>

Информация об ошибке Это приложение не удалось из -за общего количества ошибок
: 1 . Код ошибки 1 LIVY_JOB_TIMED_OUT < /p>
задание сообщения не удалось во время выполнения с состоянием = [Dead]. < /P>
< /blockquote>
Последний код ячейки заключается в следующем: < /p>
# Usage
schema_path = f"{blob_relative_path}/person.schema.parquet" # Example path
file_paths = [
f"{blob_relative_path}/person.0.parquet",
f"{blob_relative_path}/person.1.parquet",
f"{blob_relative_path}/person.2.parquet",
f"{blob_relative_path}/person.3.parquet"
]

print(f"reading schema template file...")
schema_df = read_parquet(schema_path)
print(f"This schema will be used as the schema template for the rest of the files")

print(f"Starting standardization")
for path in file_paths:
df = read_parquet(path)
print(f"file {path} loaded")
df = standardize_schema(df, schema_df)
print(f"file {path} standardized")
df.info()
write_parquet(df, path)

print(f"All files are standardized.")
< /code>
Я не знаю, что необходимо сделать, чтобы задание завершило, когда сценарий работает и не предотвращает приложение, или если это ожидаемое поведение: продолжать работать после сценария Завершение до тех пор, пока не время подачи заявки. Может ли это иметь какое -то отношение к поведению трубопровода, застрявшего в очереди? Как я могу двигаться вперед и сделать записную книжку правильно в одиночку и в трубопроводе?

Подробнее здесь: https://stackoverflow.com/questions/794 ... ued-in-pip