Как избежать копирования данных в параллели Joblib? ⇐ Python

[Anonymous]

У меня есть функция f (df, x) , где df является большой DataFrame, а X - простая переменная. Функция f только чтение из df и не изменяет ее. Можно ли поделиться памятью DF и не копировать ее в подпроцессы при использовании joblib.parallel или другой многопроцессор модуль?

• Я хотел бы избежать превращения df < /code> в глобальную переменную, так как я хотел бы повторно использовать код для обработки других данных. < /li>
  Это Невозможно превратить df в массив Numpy, так как F должен найти данные, используя индекс df .

Изменить:
будет скопирован ли df в подпроцесс при выполнении параллельной в следующем коде?
def g(df):

def f(x):
nonlocal df
...
return z

list_res = Parallel(10)(delayed(f)(x) for x in iterables)
return list_res


Подробнее здесь: https://stackoverflow.com/questions/794 ... b-parallel