Скорость записи падает через некоторое время при записи в массив, отображенный в памяти. ⇐ Python

[Anonymous]

У меня есть огромный файл микроскопического изображения размером около 110 000 пикселей в ширину и 250 000 пикселей в высоту. Я хочу записать изображение в массив, отображаемый в памяти, чтобы максимально эффективно использовать память.
Решение, которое я придумал, состоит в том, чтобы извлечь отдельные столбцы и записать их в массив. массив, отображенный в памяти, например:

Код: Выделить всё

for i in tqdm(range(len(start_indices))):
ix = start_indices[i]
width = image_widths[i]

col = slide.read_region(location=(0, ix),
level=0,
size=(shape[1], width)) # a function from OpenSlide, it takes almost no time to read, so this is not the problem for sure

col = col.convert("RGB")
col = np.array(col)
memmap[ix] = col.squeeze()

Начинается с очень хорошей скорости, около 3 тыс. итер/с, но ровно через 24% она падает до 10-20 имп/с. В чем может быть причина и как ее решить? Я использую MacBook Pro M1 Max с 64 ГБ оперативной памяти. Спасибо.

Подробнее здесь: https://stackoverflow.com/questions/791 ... pped-array