Распознавание образов с временными рядами ⇐ Python

[Anonymous]

Я работаю над проектом анализа временных рядов, основанным на данных о потреблении электроэнергии от компании за 5 лет (миллионы строк, хранящихся в файлах CSV).
Моя цель — обнаружить наиболее повторяющийся шаблон потребления (мотив) в этом наборе данных.
Однако я сталкиваюсь с несколькими проблемами:

• Подпоследовательности могут иметь переменную длину (продолжительность шаблона не исправлено).
• Мне нужно автоматически определять временные метки начала и окончания каждой обнаруженной подпоследовательности.
• Набор данных очень большой (миллионы точек данных), поэтому масштабируемость важна.

Какой подход или алгоритм будет лучшим для:

• Определить наиболее частый или репрезентативный мотив?
• Обрабатывать подпоследовательности переменной длины?
• Эффективно определять начальный и конечный индексы каждого появления мотива?

Я рассматриваю методы, основанные на сходстве (например, DTW), но я не знаете, как эффективно применять их в большом масштабе.
Будем очень признательны за любые рекомендации, алгоритмы или библиотеки.

Подробнее здесь: https://stackoverflow.com/questions/799 ... mes-series