Эффективный алгоритм онлайн-дисперсии по пакетам изображений ⇐ Python

[Anonymous]

У меня большое количество изображений, и я хочу посчитать дисперсию (каждого канала) для них всех. С точки зрения памяти я не могу создать большой массив/тензор для одновременного расчета дисперсии всех цветовых каналов. Поэтому мне нужно загружать изображения пакетами и каким-то образом обновлять текущую дисперсию в режиме онлайн после каждого пакета.
Однако я изо всех сил пытаюсь найти для этого эффективный (и даже правильный) алгоритм.
Я нашел онлайн-алгоритм Уэлфорда, однако он неэффективен, поскольку обновляет дисперсию для одного нового значения, т. е. не векторизует несколько значений, например одно изображение или пакет изображений.
Как Могу ли я эффективно обновить дисперсию для нескольких новых наблюдений, например, используя векторизацию или встроенные алгоритмы дисперсии?

Подробнее здесь: https://stackoverflow.com/questions/755 ... ge-batches