Как избежать копирования данных в параллели Joblib?Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Как избежать копирования данных в параллели Joblib?

Сообщение Anonymous »

У меня есть функция f (df, x) , где df является большой DataFrame, а X - простая переменная. Функция f только чтение из df и не изменяет ее. Можно ли поделиться памятью DF и не копировать ее в подпроцессы при использовании joblib.parallel или другой многопроцессор модуль?
  • Я хотел бы не превращать df < /code> в глобальную переменную, так как я хотел бы повторно использовать код. Другие данные. < /li>
    Это Невозможно превратить df в массив Numpy, так как F должен найти данные, используя индекс df .


Подробнее здесь: https://stackoverflow.com/questions/794 ... b-parallel
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Как избежать копирования данных в параллели Joblib?
    Anonymous » » в форуме Python
    0 Ответы
    7 Просмотры
    Последнее сообщение Anonymous
  • Как сделать параллель в параллели?
    Anonymous » » в форуме Python
    0 Ответы
    3 Просмотры
    Последнее сообщение Anonymous
  • Как сделать параллель в параллели?
    Anonymous » » в форуме Python
    0 Ответы
    3 Просмотры
    Последнее сообщение Anonymous
  • Как избежать параллельного открытия множества файлов в joblib?
    Anonymous » » в форуме Python
    0 Ответы
    13 Просмотры
    Последнее сообщение Anonymous
  • Можете ли вы использовать программу массового копирования для копирования данных VARBINARY в читаемый файл?
    Anonymous » » в форуме JAVA
    0 Ответы
    37 Просмотры
    Последнее сообщение Anonymous

Вернуться в «Python»