Групповое количество уникальных строк DataFrame по первой записи ⇐ Python

[Anonymous]

Я провожу анализ данных по выборам с рейтинговым голосованием и сталкиваюсь с некоторой иерархической сортировкой.
У меня есть неровный фрейм данных, например

Код: Выделить всё

Ranked 1 | Ranked 2 | Ranked 3 | [...] | Ranked N
A        | B
A
B
A        | B        | C
abstain
A        | B        | D
A        | B        | D
B        | C
A        | C
C        | D

Я ищу такие подсчеты:

Код: Выделить всё

Ranked 1 | Ranked 2 | Ranked 3 | [...] | Ranked N | Count | Level Count
A                                                         | 6
B|                                     | 4
D|      -|         -| 2     | -
-|      -|         -| 1     | -
C|      -|         -| 1     | -
-|         -|      -|         -| 1     | -
C|         -|      -|         -| 1     | -

B                                                         | 2
-|         -|      -|         -| 1     | -
C|         -|      -|         -| 1     | -

C                  D|         -|      -|         -| 1     | -

abstain  |         -|         -|      -|         -| 1     | -

Там, где тире обозначают значения NA для ясности (дополнительные пробелы для ясности группировки также нужны для ясности)
То, что я хочу сделать, немного сложно.
Более или менее идея заключается в том, чтобы «отсортировать таблицу по количеству уровней иерархически для каждой группы». Важным моментом является устранение избыточной информации путем НЕ создания иерархий с подгруппами одного размера. Но в остальном я не привязан к этой ТОЧНОЙ презентации, лишь бы она была читабельной. Например, если «листовые узлы» дерева имеют счетчик уровней, это нормально.
Под этим я подразумеваю выше, что вы могли бы иметь для C

Код: Выделить всё

Ranked 1 | Ranked 2 | Ranked 3 | [...] | Ranked N | Count | Level Count
C                                                         | 1
D                                      | 1
-|                          | 1
-|                   | 1
-|     1 | -

Это было бы слишком много визуального шума для анализа.
На данный момент это лучшее, что я получил

Код: Выделить всё

ranks = ["Ranked {}".format(i+1) for i in range(num_candidates)]
df = pd.DataFrame(ballots, columns=ranks).fillna("-")

# Turns out to be effectively equivalent to value_counts
return df.groupby(ranks).size().sort_values(ascending=False).to_frame()

Очень близко, но немного запутанно. Счетчик — это счетчик этого конкретного экземпляра, когда он ВЫГЛЯДИТ иерархически подсчитанным. Кроме того, сортировка по размеру означает, что не все сгруппировано правильно. Вы можете увидеть, что A появляется как ранг 1 дважды, вместо того, чтобы все находились в одной группе. Но большинство попыток исправить это просто сортируют по ключу. Мне потребовалось некоторое время, чтобы понять, о чем это вообще говорит.
Мне, вероятно, придется перебирать и создавать этот фрейм данных вручную, если мне придется гадать, но у меня возникают проблемы даже с тем, чтобы такая сложная группировка работала вообще, а ресурсы в Интернете в основном охватывают гораздо более простые случаи.