Код PySpark для преобразования словаря в Spark Dataframe ⇐ Python

[Anonymous]

Я пытаюсь преобразовать словарь в фрейм данных SPARK. Но при этом все мои значения добавляются в одну строку. Для моего окончательного результата я хочу иметь фрейм данных SPARK, содержащий 3 строки, соответствующие каждому unique_survey_id.
Напишите для него код PySpark.
inferenced_df =
{
'unique_survey_id': ['0001', '0002', '0003'],
'дословно': ["Меня зовут Джон", "Мне 23 года, "Я живу в США"],
'classification_critical_process_fg': [0, 0, 0],
'reason_critical_process_fg ': [{"Проблема клиента": "Хотелось бы, чтобы было больше поставщиков", "Статус решения": "Нерешенная", "Дословное описание усилий клиента": '', 'Причина классификации': «Хотя проблема не решена, поэтому флаг равен 0»,
{«Проблема клиента»: «Я пытаюсь решить платеж', 'Статус решения': 'Нерешено', "Дословное описание усилий клиента": '', 'Причина классификации': "Хотя проблема не решена, поэтому флаг равен 0",
{"Проблема клиента": '', 'Статус решения': '', "Дословное описание усилий клиента": '', «Причина классификации»: «В обзоре не упоминаются какие-либо проблемы или негативный опыт. Таким образом, флаг равен 0'],
'classification_critical_technical_fg': ['Нет', 'Нет', 'Нет' ],
'reason_critical_technical_fg': ['В обзоре упоминаются трудности с поиском поставщика услуг.', 'В обзоре упоминается нерешенная проблема', 'В обзоре нет упомянуть любые технические проблемы'],
'classification_critical_crc_escalation_fg': ['Да', 'Да', 'Нет'],
' Reason_critical_crc_escalation_fg': ['Клиент выражает разочарование.', 'Клиент выражает недовольство', 'В обзоре не упоминаются какие-либо нерешенные проблемы. проблемы.'],
'classification_insight_experience_fg': ['Да', 'Нет', 'Да'],
'reason_insight_experience_fg': ["В обзоре упоминается предложение", "В обзоре упоминается неразрешенная проблема", "В обзоре явно упоминается положительный отзыв"],
'classification_insight_process_fg': [0, 0, 0],
'reason_insight_process_fg': [ {"Проблема клиента": "Мне нужно проверить зрение на диабет", "Статус решения": "Нерешенная", "Дословное объяснение усилий клиента": '', 'Причина классификации': 'Клиент только что сообщил о проблеме., {"Проблема клиента": 'Я пытаюсь произвести платеж', ' Статус решения»: «Не решено», «Дословное объяснение усилий клиента»: «», «Причина классификации»: «Клиент только что заявил проблема.,{"Проблема клиента": '', 'Статус решения': '', "Дословное описание усилий клиента": '', 'Причина классификация': «В отзыве клиента не упоминаются какие-либо проблемы или негативный опыт».]
}
< strong>Текущий результат


Код:

Код: Выделить всё

from pyspark.sql.types import StructType, StructField, StringType
def alerts_inference(inferenced_df) :

schema = StructType([
StructField("unique_survey_id", StringType(), True),
StructField("verbatim", StringType(), True),
StructField("classification_critical_crc_escalation_fg", StringType(), True),
StructField("reason_critical_crc_escalation_fg", StringType(), True),
StructField("classification_critical_technical_fg", StringType(), True),
StructField("reason_critical_technical_fg", StringType(), True),
StructField("classification_critical_process_fg", StringType(), True),
StructField("reason_critical_process_fg", StringType(), True),
StructField("classification_insight_experience_fg", StringType(), True),
StructField("reason_insight_experience_fg", StringType(), True),
StructField("classification_insight_process_fg", StringType(), True),
StructField("reason_insight_process_fg", StringType(), True)
])
inferenced_df = spark.createDataFrame([inferenced_df],schema)
return inferenced_df

ОЖИДАЕМОЕ O/P: кадр данных, содержащий 3 строки, соответствующие каждому unique_survey_id и соответствующим столбцам.

Подробнее здесь: https://stackoverflow.com/questions/793 ... -dataframe