Многопроцессорность, Python3, Windows: TypeError: невозможно выбрать объекты _thread.lock ⇐ Python

[Anonymous]

В системе Windows 10 с Python 3.6 при попытке использовать multiprocessing.Process для создания нового работника rq

multiprocessing.Process(target=Worker(qs).work, kwargs={'burst': True}).start()


мы столкнулись с ошибкой


TypeError: невозможно выбрать _thread.lock объекты


и


OSError: [ WinError 87] Неправильный параметр


rq.SimpleWorker использовался вместо rq.Worker, поскольку Windows не поддерживает функцию fork, используемую rq.Worker.

Вопрос: Что вызывает эту ошибку? Как мы можем решить эту проблему?

from rq import SimpleWorker, Connection

def needMoreWorkers():
return True

if __name__ == '__main__':
qs = sys.argv[1:] or ['default']
with Connection(connection=my_redis_conn):
if needMoreWorkers():
multiprocessing.Process(target=SimpleWorker(qs).work, kwargs={'burst': True}).start()


Отслеживание ошибок

Traceback (most recent call last):
File "WorkerFactory.py", line 53, in
main(qs)
File "WorkerFactory.py", line 45, in main
multiprocessing.Process(target=SimpleWorker(qs)).start()
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\process.py", line 105, in start
self._popen = self._Popen(self)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\context.py", line 223, in _Popen
return _default_context.get_context().Process._Popen(process_obj)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\context.py", line 322, in _Popen
return Popen(process_obj)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\popen_spawn_win32.py", line 65, in __init__
reduction.dump(process_obj, to_child)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\reduction.py", line 60, in dump
ForkingPickler(file, protocol).dump(obj)
TypeError: can't pickle _thread.lock objects

(test) C:\Code\test\source>Traceback (most recent call last):
File "", line 1, in
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\spawn.py", line 99, in spawn_main
new_handle = reduction.steal_handle(parent_pid, pipe_handle)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\reduction.py", line 82, in steal_handle
_winapi.PROCESS_DUP_HANDLE, False, source_pid)
OSError: [WinError 87] The parameter is incorrect


Подробнее здесь: https://stackoverflow.com/questions/523 ... ck-objects