Pyspark sql объединяет два столбца с одинаковым значением, но с разными именами ⇐ Python

[Anonymous]

У меня есть две таблицы с приведенной ниже структурой

Таблица1

lang созданная_дата Ява 01.11.23 питон 11-11-23 Таблица 2

lang ingested_date скала 11-21-23 Я хочу создать объединенную таблицу с ожидаемым результатом:

Таблица3

lang созданная_дата Ява 01.11.23 питон 11-11-23 скала 11-21-23 Фактический результат

lang созданная_дата Ява 01.11.23 питон 11-11-23 скала 11-21-23 скала нуль Я использую приведенный ниже код Python pyspark, но он дает мне дополнительную строку с нулевым значением в столбце созданной_даты.

table1DF = sparkSession.read.table("Таблица1") table2DF = sparkSession.read.table("Таблица2") table1 = table1DF.col("lang").col("create_date") table2 = table2DF.col("lang").col("ingested_date").alias("create_date") merged_table = table1.union(table2) Final_table = merged_table.groupBy("lang", "create_date") Как избежать получения последней строки с нулевым значением в одном из столбцов при объединении данных из двух таблиц с помощью объединения?