Я работаю над данными о потреблении электроэнергии компании за последние 5 лет (миллионы строк в формате CSV).
Каждая строка имеет следующую структуру:
метка времени, потребление
2020-01-01 00:00:00, 1250
2020-01-01 00:15:00, 1310
2020-01-01 00:30:00, 1285
...
Интервал выборки составляет 15 минут.
Моя цель — обнаружить наиболее повторяющийся шаблон потребления (мотив) во всем наборе данных.
Ограничения:
Длина подпоследовательности является переменной ( продолжительность мотива не фиксирована).
Мне нужно автоматически определять временные метки начала и окончания каждой обнаруженной подпоследовательности.
Набор данных содержит миллионы точек, поэтому масштабируемость важна.
Я работаю на Python.
Я рассматривал подходы, основанные на сходстве, такие как DTW, но не знаю, как:
Обрабатывать эффективно использовать подпоследовательности переменной длины.
Определите точные начальные и конечные индексы каждого мотива.
Масштабируйте решение до больших наборов данных.
Какой подход рекомендуется использовать для решения такого типа проблемы обнаружения мотивов?
Подробнее здесь: https://stackoverflow.com/questions/799 ... mes-series
