Как поделиться большим CustomObject с работниками многопроцессорной обработки Python в Windows (порождение)? ⇐ Python

[Anonymous]

Я пытаюсь выполнить вычисления с использованием нескольких ядер Python на нескольких платформах (Linux, macOS, Windows). Мне нужно передать большой объект CustomClass и dict (оба только для чтения) всем работникам. До сих пор я пытался использовать многопроцессорность с Pool. На платформах, использующих fork (Linux, macOS), это приводит к более быстрым вычислениям. В Windows (порождение) многопроцессорность намного медленнее и память неэффективна. В Windows процессы будут запускаться последовательно, что займет гораздо больше времени, чем фактическое вычисление.

Код: Выделить всё

import multiprocessing as mp
import numpy as np
import tqdm

class CustomClass:
def __init(self, data):
## assigns multiple huge vectors and objects

class ParallelComputation:
...
def compute(n_jobs=-1):
custom_obj = CustomCLass(data) # ~1GB of memory
cfg = dict(some_config=True)
inputs = [(1, np.random.rand(1, 300)), (1, np.random.rand(1, 300)), ...] # array of tuples
worker = worker_task

with mp.Pool(processes=n_jobs, initializer=_set_globals, initargs=(custom_obj, cfg)) as pool:
for result in tqdm(pool.imap(worker, inputs, chunksize=8), total=n_rows):
i, row = result
out[i, :] = row
...

def worker_task(args):
lib = _G_LIB
cfg = _G_CFG
# some computation

def _set_globals(custom_obj, cfg):
global _G_LIB, _G_CFG
_G_LIB = custom_obj
_G_CFG = cfg

При выполнении вычислений мне также приходится охранять их в Windows:

Код: Выделить всё

if __name__ == "__main__":
parallel = ParallelComputation(...)
parallel.compute()

Я также попробовал joblib, который параллельно запускает рабочие процессы, но также потребляет много памяти. Я не меняю custom_obj или cfg, поэтому SharedMemory или ProcessManager кажутся не подходящими.
Как я могу эффективно использовать многопроцессорность с большим объектом CustomClass в Windows?

Подробнее здесь: https://stackoverflow.com/questions/798 ... -on-window