Я пытаюсь распараллелить прогнозирование временных рядов в Python с помощью dask. Формат данных таков, что каждый временной ряд представляет собой столбец и имеет общий индекс ежемесячных дат. У меня есть пользовательская функция прогнозирования, которая возвращает объект временного ряда с подобранными и прогнозируемыми значениями. Я хочу применить эту функцию ко всем столбцам фрейма данных (все временные ряды) и вернуть новый фрейм данных со всеми этими сериями для загрузки в БД.
Я заставил код работать, запустив:
Код: Выделить всё
data = pandas_df.copy()
ddata = dd.from_pandas(data, npartitions=1)
res = ddata.map_partitions(lambda df: df.apply(forecast_func,
axis=0)).compute(get=dask.multiprocessing.get)
Мой вопрос: есть ли в Dask способ разделения по столбцу, а не по строке, поскольку в этом случае мне нужно сохранить упорядоченный индекс времени, как для функция прогнозирования работает правильно.
Если нет, то как мне переформатировать данные, чтобы сделать возможным эффективное крупномасштабное прогнозирование и при этом возвращать данные в формат, который мне нужно затем отправить в БД?
пример формата данных
Подробнее здесь:
https://stackoverflow.com/questions/494 ... using-dask
Мобильная версия