Spark Sql Row_number () PartitionBy Sort Desc Desc ⇐ Python

[Anonymous]

Я успешно создаю row_number () и partitionby () в Spark, используя окно, но хотел бы сортировать это, спустившись, вместо подъема по умолчанию. Вот мой рабочий код: < /p>

Код: Выделить всё

from pyspark import HiveContext
from pyspark.sql.types import *
from pyspark.sql import Row, functions as F
from pyspark.sql.window import Window

(
data_cooccur
.select(
"driver",
"also_item",
"unit_count",
F.rowNumber().over(
Window
.partitionBy("driver")
.orderBy("unit_count")
).alias("rowNum")
)
.show()
)
< /code>
Это дает мне этот результат: < /p>
+------+---------+----------+------+
|driver|also_item|unit_count|rowNum|
+------+---------+----------+------+
|   s10|      s11|         1|     1|
|   s10|      s13|         1|     2|
|   s10|      s17|         1|     3|
+------+---------+----------+------+

И здесь я добавляю desc () на заказ спуска:

Код: Выделить всё

(
data_cooccur
.select(
"driver",
"also_item",
"unit_count",
F.rowNumber().over(
Window
.partitionBy("driver")
.orderBy("unit_count")
.desc()
).alias("rowNum")
)
.show()
)
< /code>
и получить эту ошибку: < /p>
> AttributeError: 'WindowSpec' object has no attribute 'desc'

Что я здесь делаю?


Подробнее здесь: https://stackoverflow.com/questions/352 ... -sort-desc