Построение линейного графика в матплоте Python для массива с миллиардом записей, не хватает оперативной памятиPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Построение линейного графика в матплоте Python для массива с миллиардом записей, не хватает оперативной памяти

Сообщение Anonymous »

В приведенном ниже коде я создаю большой массив и хочу отобразить его в виде линейного графика. Я должен использовать массивы с отображением памяти numpy, о которых я узнал здесь, чтобы даже создать массив (и значения x). Этот пост. Построение большого количества точек с использованием matplotlib и нехватка памяти имеет ту же проблему, но не с линейным графиком, и я боюсь, что не смог понять, как использовать эти идеи, чтобы заставить мой линейный график работать . (Используя пакет tqdm для отслеживания хода выполнения моих циклов, кажется, что оба цикла завершаются, а затем во время рисования оперативная память взрывается.)
Я запускаю это в Google Colab, и все все в порядке, пока не будет нарисовано изображение матплота, и я не понимаю, как это может быть проблемой, потому что в конечном итоге он просто создает какой-то файл .png, точка за точкой и строка за строкой, который не может быть таким большим или требовать много памяти!
import numpy as np
import matplotlib.pyplot as plt
from tqdm import tqdm

width = 40
height = 8
transition = 0.9
chunk_size = int(1E6) # Define a chunk size for processing data

n = int(1E8)

def calculate_array(n, tr, filename):
a = np.memmap(filename, dtype='float64', mode='w+', shape=(n + 1,))
if tr

Подробнее здесь: https://stackoverflow.com/questions/787 ... run-out-of
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»