Конвейер Databricks не работает при выполнении сценария Python для ожиданий с ошибкой: Update FAILES; _UNCLASSIFIED_PYTH ⇐ Python

[Anonymous]

Я работаю с блоками данных и исключениями в конвейере. У меня есть код, но я продолжаю получать ошибку, которую не могу устранить. Ошибка: обновление 123456 ОШИБАЕТСЯ. Класс ошибки: _UNCLASSIFIED_PYTHON_COMMAND_ERROR

Код: Выделить всё

%python
from pyspark.sql.functions import col
from pyspark import pipelines as dp

@dp.table(
name="orders",
comment="Orders table with data quality constraints"
)
@dp.expect_all_or_fail(
"expect_table_row_count_to_be_between", "COUNT(*) > 100",
"customer_id_not_null", "customer_id IS NOT NULL",
"expect_column_values_to_be_in_set", "currency IN ('USD', 'EUR', 'GBP')"
)
def orders():
return dp.read("Xyntrel_bronze.bronze.orders").filter(
col("customer_id").isNotNull()
)

Я не понимаю, потому что синтаксический анализатор говорит, что код правильный, но при выполнении я получаю сообщение об ошибке.

Подробнее здесь: https://stackoverflow.com/questions/798 ... with-error