Платформа Unittest в Databricks ⇐ Python

[Anonymous]

Код: Выделить всё

import unittest
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, count, when

# Create the DataFrame
spark_df = spark.sql('select * from dna_scr_l3.vw_dna_cdm_md_bom')

class MdbomTest(unittest.TestCase):

def test_blank_spaces_count(self):
# Apply the blank spaces count operation and retrieve the result
blank_spaces_count_df = spark_df.select([
count(when((col(c).substr(1, 1) == ' ') & (col(c).substr(-1, 1) == ' '), c)).alias(c)
for c in spark_df.columns
])

# Perform assertions
for column in blank_spaces_count_df.columns:
self.assertEqual(blank_spaces_count_df.collect()[0][column], 0)

def test_null_persentage_in_col(self):
col_null_cnt_df = spark_df.select([count(when(col(c).isNull(), c)).alias(c) for c in spark_df.columns])

# Perform assertions
for column in col_null_cnt_df.columns:
self.assertEqual(col_null_cnt_df.collect()[0][column], 0)

if __name__ == "__main__":
unittest.main()

Хочу запустить unittest, но получаю ошибку

ОШИБКА: /databricks/kernel-connections/76ddb9359db2cb425c430527d257d2fe22bc38113daa396b5589d6712ace288c (unittest.loader. _FailedTest)
AttributeError: объект «DummyMod» не имеет атрибута «/databricks/kernel-connections/76ddb9359db2cb425c430527d257d2fe22bc38113daa396b5589d6712ace288c»

Выполнен 1 тест за 0,005 с
FAILED (errors=1)
/databricks/python/lib/python3.9/site-packages/IPython/core/interactiveshell.py UserWarning: Для выхода: используйте «exit», «quit» или Ctrl-D.
warn("Для выхода: используйте «exit», «quit» или Ctrl-D.», stacklevel= 1)
SystemExit: True
Произошло исключение, используйте %tb, чтобы увидеть полную обратную трассировку.
SystemExit: True
< /blockquote>

Подробнее здесь: https://stackoverflow.com/questions/768 ... databricks