У меня есть функция f (df, x) , где df является большой DataFrame, а X - простая переменная. Функция f только чтение из df и не изменяет ее. Можно ли поделиться памятью DF и не копировать ее в подпроцессы при использовании joblib.parallel или другой многопроцессор модуль?
Я хотел бы не превращать df < /code> в глобальную переменную, так как я хотел бы повторно использовать код. Другие данные. < /li>
Это Невозможно превратить df в массив Numpy, так как F должен найти данные, используя индекс df .
У меня есть функция f (df, x) , где df является большой DataFrame, а X - простая переменная. Функция f только чтение из df и не изменяет ее. Можно ли поделиться памятью DF и не копировать ее в подпроцессы при использовании joblib.parallel или другой многопроцессор модуль? [list] [*] Я хотел бы не превращать df < /code> в глобальную переменную, так как я хотел бы повторно использовать код. Другие данные. < /li> Это Невозможно превратить df в массив Numpy, так как F должен найти данные, используя индекс df . [/list]
У меня есть функция f (df, x) , где df является большой DataFrame, а X - простая переменная. Функция f только чтение из df и не изменяет ее. Можно ли поделиться памятью DF и не копировать ее в подпроцессы при использовании joblib.parallel или другой...
Прямо сейчас я использую оптимизацию модели для оптимизации одного набора параметров для нескольких сайтов (в общей сложности 47 сайтов, то есть сумма функции стоимости по сравнению с этими 47 результатами). Вычисление сайта независима друг от...
Прямо сейчас я использую оптимизацию модели для оптимизации одного набора параметров для нескольких сайтов (в общей сложности 47 сайтов, то есть сумма функции стоимости по сравнению с этими 47 результатами). Вычисление сайта независима друг от...
РЕДАКТИРОВАНИЕ: я отправил проблему на github, в этой версии я удалил ограничение пользователя в lsof, и количество открытых файлов стало намного больше.
Упрощенный случай следующий (Python 3.11.8, joblib 1.4.0):
## lsof.py
from joblib import...
У меня есть серверное Java-приложение, в котором я хотел бы, чтобы приложение автоматически извлекало данные VARBINARY из базы данных, а затем использовало эти данные для загрузки файлов на жесткий диск пользователя.
Я могу использовать программу...