Объединение тысячи кадров данных (по 30 МБ каждый) занимает полчаса с использованием повторной обработкиPython

Программы на Python
Ответить
Anonymous
 Объединение тысячи кадров данных (по 30 МБ каждый) занимает полчаса с использованием повторной обработки

Сообщение Anonymous »

У меня есть набор данных, разделенный по дате, который состоит из тысячи файлов стрелок с 300 столбцами. Я попытался прочитать его с помощью pl.read_ipc и объединить с помощью rechunk=True. На моем сервере с 1 ТБ ОЗУ этап повторной обработки занял более получаса. Есть ли способ ускорить эту процедуру или какие-либо предложения по обработке или хранению в этом сценарии? Заранее большое спасибо за любую помощь и усилия.

Подробнее здесь: https://stackoverflow.com/questions/777 ... ng-rechunk
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»