EOFError: закончилась ошибка ввода при многопроцессорной обработке в Python ⇐ Python

[Anonymous]

Я пытаюсь написать менеджер загрузок с библиотекой Gallery_dl на Python, но у меня возникла проблема с многопроцессорностью.
Когда я пытаюсь создать новое задание в методе __init__ класса DownloadTask, я получаю ошибку self = Reduction.pickle.load(from_parent) ... EOFError: Исчерпан ввод.
Я предполагаю, что это связано с тем, что многопроцессорная обработка использует Pickle для сериализации данных в дочерних процессах, а Pickle не может обработать объект галереи-dl, но я понятия не имею, что с этим делать. .
Есть ли способ исправить или обойти это?
Вот упрощенная версия моего кода:

Код: Выделить всё

# DownloadManager.py
from typing import Dict
from DownloadTask import DownloadTask
import uuid
import multiprocessing

class DownloadManager:
def __init__(self):
self.tasks: Dict[str, DownloadTask] = {}
self.processes: Dict[str, multiprocessing.Process] = {}

def add_task(self, url: str) -> str:
task_id = str(uuid.uuid4())
new_task = DownloadTask(task_id, url)
self.tasks[task_id] = new_task

task_process = multiprocessing.Process(target=new_task.start)
self.processes[task_id] = task_process
task_process.start()

return task_id

Код: Выделить всё

# DownloadTask.py
from gallery_dl import job

class DownloadTask:
def __init__(self, task_id: str, url: str):
self.task_id = task_id
self.url = url
self.job = job.DownloadJob(url)

def start(self):
self._download()

def _download(self):
self.job.run()

Я пытался создать задание непосредственно в классе DownloadManager экземпляра DownloadTask, но та же ошибка все равно возникает.


Подробнее здесь: https://stackoverflow.com/questions/790 ... -in-python