Apache Beam сравнивает два набора данных только с одним столбцом ⇐ Python

[Anonymous]

Моя задача — сравнить два набора данных в Apache Beam в Dataflow Runner и вывести три этапа: один общий для набора данных 1, другой только для набора данных 1, а затем только для набора данных 2.
Я попробовал используя CoGroupByKey, однако я не уверен, что его можно использовать, поскольку у нас есть только одномерный список. Как мы можем их сравнивать. Я попробовал объединить две коллекции pcollections, как показано ниже
import apache_beam as beam

with beam.Pipeline() as p:

dataset1 = ['data1a', 'data1b', 'data1c', 'data1d']
dataset2 = ['data2a', 'data2b', 'data1b', 'data2d']
dataset1_pcoll = p | 'Read Dataset 1' >> beam.Create(dataset1)
dataset2_pcoll = p | 'Read Dataset 2' >> beam.Create(dataset2)

combined_data = (
{
'file1': dataset1_pcoll,
'file2': dataset2_pcoll,
}
| 'CoGroup Files' >> beam.CoGroupByKey()
)


получение ошибки, как показано ниже
wrapper = lambda x: [fn(*x)]
TypeError: () takes 2 positional arguments but 6 were given [while running 'CoGroup Files/CoGroupByKeyImpl/Tag[file2]']



Подробнее здесь: https://stackoverflow.com/questions/791 ... one-column