Как зациклить список таблиц, содержащих бизнес-ключ, и передать его методу для выполнения обработки данных? ⇐ Python

[Anonymous]

Мы выполняем проверку данных, чтобы передать исходную таблицу для имен представлений SQL, например TEST_SCH.VIEWNAME, и целевое дельта-представление datalake для Schema.deltaview, чтобы сравнить тестирование количества строк столбца. Таким образом, нам нужно написать множество сценариев для выполнения.
У меня есть общие сценарии, в которых мне нужно освоить исходную и целевую таблицу для передачи отдельных сценариев - тогда мой сценарий должен выполнить все исходные и целевые представления. В обоих представлениях мы передаем общий бизнес-ключ для сортировки окончательных сравниваемых данных и подтверждения отсутствия различий в данных.
Ниже приведены сценарии, которые мы используем в настоящее время, но которые оптимизируют и один скрипт для передачи списка названий исходного и целевого представления с подробностями бизнес-столбца.
Пример текущих скриптов для нас прямо сейчас:

Код: Выделить всё

%run "/SQLSERVER/TEST_ConnectionInfo"

Код: Выделить всё

table_name = "[TEST].[SQL_TABLE_VIEW]"
source = spark.read \
.format("jdbc") \
.option("url", jdbcUrl) \
.option("dbtable", table_name) \
.option("databaseName", database_name) \
.option("accessToken", access_token) \
.option("encrypt", "true") \
.option("hostNameInCertificate", "*.database.windows.net") \
.load()
source.createOrReplaceTempView("source_view")

Код: Выделить всё

df = spark.sql(f"""select * from target.deltatableviewname""")
df.createOrReplaceTempView("target")

Код: Выделить всё

Source=spark.sql('select * from source_view')
Target=spark.sql('select * from target')

Первый уровень проверки источника и количества целей должен соответствовать нашим сценариям.
Ниже одна концепция AB и BA с операцией с данными источник-цель:< /p>

Код: Выделить всё

from pyspark.sql.functions import *
df_DataFromsrcDiff=Source.subtract(target).withColumn("Source", lit("A"))
df_DataFromtargetDiff=target.subtract(Source).withColumn("Target", lit("B"))

Код: Выделить всё

from pyspark.sql.functions import col
difference=df_DataFromtargetDiff.union(df_DataFromsrcDiff)
difference=diffdatadf.sort(col("businesskey for column"))

Код: Выделить всё

print(difference.count()) -- should give 0 count

Конечным результатом будет только 0, если 0, то при сравнении данных обоих представлений нет разницы.
Как нам получить список представлений и бизнес-ключ передается в один скрипт для выполнения проверки данных?
Просьба предоставить решение для одного сценария для выполнения приведенного выше кода для управления моей проверкой данных. Убедитесь, что в каждое представление мы должны передать один или несколько бизнес-ключей для сортировки окончательных различий в данных, поэтому, пожалуйста, помогите нам.

Подробнее здесь: https://stackoverflow.com/questions/787 ... to-execute