Транспонирование или поворот кадра данных в блоках данных pyspark? ⇐ Python

[Гость]

Цените подсказки о том, как повернуть/транспонировать фрейм данных таким образом, чтобы у меня был транспонированный столбец имени Cx в виде конкатенации имен Cx, разделенных запятой.



Я нашел совет, представленный здесь: https://stackoverflow.com/questions/714 ... in-pyspark, очень полезный, однако сейчас просто нужны некоторые указатели на следующем шаге, чтобы окончательные результаты выглядели так:


Код, который я использовал, указан ниже: https://stackoverflow.com/users/6336479 ... -markovitz: импортировать pyspark.pandas как ps из pyspark.sql.functions импорт по убыванию, по возрастанию ps.get_option("compute.max_rows") # 1000 ps.set_option("compute.max_rows", 2000) df = spark.createDataFrame([('12345','Джон Доу',1),('12345','Джейн Доу',2)],['Acct', 'CxName','Position' ]) df = df.sort(asc('позиция')) df.display() (df # .to_pandas_on_spark() .pandas_api() .set_index('Позиция') .Т .reset_index() .rename(columns={"index":"Position"}) .искрить() .показывать())