Конвейер Databricks не работает при выполнении сценария Python для ожиданий с ошибкой: Update FAILES; _UNCLASSIFIED_PYTH ⇐ Python

[Anonymous]

Я работаю над конвейером блоков данных и пытаюсь создать и применить ожидания к конвейеру. У меня есть код, но я продолжаю получать ошибку, которую не могу устранить. Делать особо нечего, но я продолжаю пробовать разные методы, исправлять все ошибки и в итоге получаю ту же ошибку, и я действительно не понимаю, что происходит не так. Я проверил, не проблема ли это с предварительным запуском, я попробовал отобразить таблицу, и это работает нормально. В представлении конвейера я должен увидеть свое ожидание, но поскольку оно не работает, оно не отображается.
Ошибка: обновление be7a33 — НЕУДАЧНО. Класс ошибки: _UNCLASSIFIED_PYTHON_COMMAND_ERROR
%python
from pyspark.sql.functions import col
from pyspark import pipelines as dp

@dp.table(
name="orders",
comment="Orders table with data quality constraints"
)
@dp.expect_all_or_fail(
"expect_table_row_count_to_be_between", "COUNT(*) > 100",
"customer_id_not_null", "customer_id IS NOT NULL",
"expect_column_values_to_be_in_set", "currency IN ('USD', 'EUR', 'GBP')"
)
def orders():
return dp.read("Xyntrel_bronze.bronze.orders").filter(
col("customer_id").isNotNull()
)

Я не понимаю, потому что анализатор говорит, что код правильный, но при выполнении я получаю сообщение об ошибке.
"timestamp": "2025-12-10T09:13:32.863Z",
"message": "Update be7a33 is FAILED.",
"level": "ERROR",
"error": {
"exceptions": [
{
"message": "",
"error_class": "_UNCLASSIFIED_PYTHON_COMMAND_ERROR",
"short_message": ""
}
],
"fatal": true
},
"details": {
"update_progress": {
"state": "FAILED"
}
},
"event_type": "update_progress",
"maturity_level": "STABLE"}


Подробнее здесь: https://stackoverflow.com/questions/798 ... with-error