Союз крошечных фреймов данных исчерпывает ресурс Databricks ⇐ Python

[Anonymous]

Как часть функции я создаю df1 и df2, пытаюсь объединить их и вывести результаты. Но результаты не отображаются внутри функции, а также если я вывожу результаты и отображаю их после.

Код: Выделить всё

results = df1.unionByName(df2, allowMissingColumns=False)

display(results)

Это ошибка:

Код: Выделить всё

SparkConnectGrpcException: 

Подробнее здесь: [url]https://stackoverflow.com/questions/79785372/union-of-tiny-dataframes-exhausts-resource-on-databricks[/url]