Как преобразовать список в несколько столбцов и фрейм данных? ⇐ Python

[Anonymous]

Сегодня у меня есть задача:
Имея список путей s3 внутри списка, разделите его и получите фрейм данных с одним столбцом с путем и новым столбцом только с именем папки.
В моем списке следующее содержание:

Код: Выделить всё

raw/ingest_date=20240918/eventos/
raw/ingest_date=20240918/llamadas/
raw/ingest_date=20240918/campanhas/
raw/ingest_date=20240918/miembros/
raw/ingest_date=20240918/objetivos/

я пробую этот код:

Код: Выделить всё

new_dict = []
for folder in subfolders:
new_dict.append(folder)
name = folder.split("/", -1)
new_dict.append(name[2])
#print(name)

print(type(new_dict))
for elem in new_dict:
print(elem)

df = spark.createDataFrame(new_dict, ["s3_prefix", "table_name"])
df.show()

но результатом будет список типа:

Код: Выделить всё

raw/ingest_date=20240918/eventos/
eventos
raw/ingest_date=20240918/llamadas/
llamadas
raw/ingest_date=20240918/campanhas/
campanhas
...
...

но когда я пытаюсь распечатать свой фрейм данных, я вижу это:
TypeError: невозможно вывести схему для типа:
идея состоит в том, чтобы иметь такой фрейм данных:

Код: Выделить всё

s3_prefix                            | table_name
------------------------------------------------------
raw/ingest_date=20240918/eventos/    | eventos
raw/ingest_date=20240918/llamadas/   | llamadas
raw/ingest_date=20240918/campanhas/  | campanhas
raw/ingest_date=20240918/miembros/   | miembros

Может ли кто-нибудь помочь решить эту проблему?
С уважением

Подробнее здесь: https://stackoverflow.com/questions/790 ... -dataframe