Почему NumPy load() занимает больше времени в сценарии большего размера, чем в другом? ⇐ Python

[Anonymous]

Я сканирую триггер и, когда получаю его, загружаю файл .npy и обрабатываю его. Загрузка файла NumPy из процесса заняла почти 2 секунды, но когда я попытался загрузить тот же файл из другого скрипта, это заняло 0,015 секунды.
Как я могу это диагностировать? Раньше это происходило мгновенно, и я не уверен, почему это стало занимать больше времени, поскольку 3 недели назад. В производственном сценарии используется многопроцессорность. Я создал модуль, содержащий несколько определений, и вызываю одно из этих определений в сценарии многопроцессорной обработки:

Код: Выделить всё

from projectAI.projectAI import dataProcessor
.
.
.
initializations
.
.
.

processes = []
process1 = Process(target = dataProcessor,
args   = (genModelName, dataPath, DB, Max, Min),
daemon = True)
processes.append(process1)

for i in range(Count):
process = Process(target = appEstimator,
args   = (Data, str(i+1), city),
daemon = True)
processes.append(process)

for process in processes:
process.start()

for process in processes:
process.join()

Определение «обработчик данных» в модуле «projectAI»:

Код: Выделить всё

dataProcessor(genModelName, dataPath, DB, Max, Min):

while True:

# Check for a new entry in DB using queries

if newEntry:
data = np.load(dataPath + newEntry["fileName"] + ".npy")

# Further processing

Он находится в разработке уже несколько месяцев и никогда не возникало проблем. Внезапно загрузка этого файла стала занимать от 1,8 до 2 секунд. Я выполнил следующий скрипт в той же среде:

Код: Выделить всё

import numpy as np, time
T1 = time.time()
data = np.load(dataPath + newEntry["fileName"] + ".npy")
T2 = time.time()
print(T2-T1)

Это занимает всего 0,015 секунды. В чем может быть причина?

Подробнее здесь: https://stackoverflow.com/questions/797 ... in-another