Выходной список словарей вместо набора данных ⇐ Python

[Anonymous]

У меня есть следующий код Python в репозитории кода Palantir Foundry. Выходные данные представляют собой список словарей вместо набора данных. Как это исправить?
Код:

Код: Выделить всё

import requests
from transforms.external.systems import use_external_systems, EgressPolicy
from transforms.api import transform, Output

headers ={"Api-Key": "12345",
"Content-Type": "application/json"
}

@use_external_systems(
egress=EgressPolicy(
"ri.resource-policy-manager.global.network-egress-policy.00fa5d39-838c-423c-9f12-a4b440b8536c"
),
)
@transform(
output=Output("ri.foundry.main.dataset.f3695857-465f-4338-b4de-ef431f00b8dc"),
)
def compute(ctx, output, egress):
headers = headers
url = "https://test.api.com/parts?"
response = requests.get(url, headers=headers)

# If the call fails, raise an exception and abort the transaction.
response.raise_for_status()
json_content = response.json()
json_rdd = ctx.spark_session.sparkContext.parallelize([json_content])

# Parse the incoming JSON as a dataframe and save it in a dataset.
output.write_dataframe(ctx.spark_session.read.json(json_rdd))

Вывод:
введите здесь описание изображения

Подробнее здесь: https://stackoverflow.com/questions/793 ... of-dataset