Распараллеливание операций для фрейма данных pandas ⇐ Python

[Anonymous]

У меня есть очень большой фрейм данных pandas, похожий на следующий:

Код: Выделить всё

╔════════╦═════════════╦════════╗
║ index  ║    Users    ║ Income ║
╠════════╬═════════════╬════════╣
║ 0      ║ user_1      ║    304 ║
║ 1      ║ user_2      ║    299 ║
║ ...    ║             ║        ║
║ 399999 ║ user_400000 ║    542 ║
╚════════╩═════════════╩════════╝

(Для некоторых вычислений нужно еще несколько столбцов)

Итак, для каждого клиента мне нужно применять много-много операций (сдвиг, суммы, вычитания, условия и т. д.), поэтому невозможно (на мой взгляд) применить логическое маскирование ко всему, я уже пробовал, поэтому мой вопрос в том, можно ли разделить кадр данных pandas на куски следующим образом: например:

Код: Выделить всё

# chunk 1
╔════════╦═════════════╦════════╗
║ index  ║    Users    ║ Income ║
╠════════╬═════════════╬════════╣
║ 0      ║ user_1      ║    304 ║
║ 1      ║ user_2      ║    299 ║
║ ...    ║             ║        ║
║ 19999  ║ user_20000  ║    432 ║
╚════════╩═════════════╩════════╝

# chunk 2
╔════════╦═════════════╦════════╗
║ index  ║    Users    ║ Income ║
╠════════╬═════════════╬════════╣
║ 20000  ║ user_20000  ║    199 ║
║ 20001  ║ user_20001  ║    412 ║
║ ...    ║             ║        ║
║ 39999  ║ user_40000  ║    725 ║
╚════════╩═════════════╩════════╝

# chunk K
╔════════╦═════════════╦════════╗
║ index  ║    Users    ║ Income ║
╠════════╬═════════════╬════════╣
║ ...    ║ user_...    ║    ... ║
║ ...    ║ user_...    ║    ... ║
║ ...    ║             ║        ║
║ ...    ║ user_...    ║    ... ║
╚════════╩═════════════╩════════╝

И параллельно примените все операции ко всем этим фрагментам.

Подробнее здесь: https://stackoverflow.com/questions/606 ... -dataframe