Как эффективно связать несколько строк ⇐ Python

[Anonymous]

У меня есть набор данных, который включает в себя два столбца ключа: ID_1 и ID_2. ID_1 уникален, а ID_2 не уникален. ID_2 -это строка, которая содержит идентификаторы, разделенные -. Например: < /p>



id_1 < /th>
id_2 < /th>
< /tr>
< /thead>


1 < /td>
a-b-c < /td>
< /tr>

2 < /td> b-d < /td>
< /tr>

3 < /td>
d-e < /td>
< /tr>

4 < /td>
b < /td> < /tr>

5 < /td>
f < /td>
< /tr>

6
g



Чего я хочу достичь, это создать новый ID_3, который присваивает уникальный идентификатор ID_2, гарантируя, что любые ранее связанные значения имели одинаковые ID_3. Поэтому для примера я хотел бы иметь вывод, подобный этим: < /p>



id_1 < /th>
id_2 < /th>
id_3 < /th>
< /tr >
< /thead>


1 < /td>
a-b-c < /td>
A < /td>
< /tr>

2 < /td>
b-d < /td>
a < /td>
< /tr>

3 < /td>
d-e < /td> a < /td>
< /tr>

4 < /td>
b < /td>
a < /td>
< /tr>

5 < /td>
f < /td> b < /td>
< /tr>

6 < /td>
g < /td>
c



Я попробовал неэффективный подход Для обработки данных с помощью цикла для цикла, но они не очень хорошо масштабируются. Мой набор данных содержит более 10 млн. Было бы здорово, если бы кто -то сможет поделиться некоторыми мыслями. Действительно ценю это.

Подробнее здесь: https://stackoverflow.com/questions/794 ... tiple-rows