Эффективный алгоритм онлайн-дисперсии по пакетам изображений [закрыто] ⇐ Python

[Anonymous]

У меня есть большой объем многомерных данных, и я хочу вычислить дисперсию оси по всем из них. С точки зрения памяти я не могу создать большой массив для расчета дисперсии за один шаг. Поэтому мне нужно загружать данные пакетами и каким-то образом обновлять текущую дисперсию в режиме онлайн после каждого пакета.
игрушечный примерВ конце концов, пакетно обновленный online_var должен соответствовать правильному_var.
Однако я изо всех сил пытаюсь найти эффективный алгоритм для этого.

Код: Выделить всё

import numpy as np
np.random.seed(0)
# Correct calculation of the variance
all_data = np.random.randint(0, 9, (9, 3))  # 

Подробнее здесь: [url]https://stackoverflow.com/questions/75545944/efficient-algorithm-for-online-variance-over-image-batches[/url]