У меня есть набор данных, разделенный по дате, который состоит из тысячи файлов стрелок с 300 столбцами. Я попытался прочитать его с помощью pl.read_ipc и объединить с помощью rechunk=True. На моем сервере с 1 ТБ ОЗУ этап повторной обработки занял более получаса. Есть ли способ ускорить эту процедуру или какие-либо предложения по обработке или хранению в этом сценарии? Заранее большое спасибо за любую помощь и усилия.
Подробнее здесь: https://stackoverflow.com/questions/777 ... ng-rechunk
Мобильная версия