Snakemake: RuntimeError: невозможно начать новый поток ⇐ Python

[Anonymous]

Я использую рабочий процесс Snakemake, который:
1 загружает исследования из базы данных. Одно исследование содержит данные нескольких человек.

2 разделите каждое исследование, чтобы получить один файл на каждого человека.

3 отфильтруйте каждого человека.
Когда я запускаю рабочий процесс для нескольких исследований, все работает нормально, но когда я запускаю рабочий процесс для многих исследований, появляется следующая ошибка:
команда:

Код: Выделить всё

snakemake --cores 3 --jobs 3 --resources mem_mb=7000 download_slots=1 \
--config config_path="shiny-app/configs/config.yaml"

Ошибка:

Код: Выделить всё

Select jobs to execute...
[Tue Jan 13 14:42:48 2026]
Finished jobid: 264 (Rule: study_filtering_complete)
3476 of 3532 steps (98%) done
Traceback (most recent call last):

File "/Users/victorcat/miniforge3/envs/snakemake/lib/python3.13/site-packages/snakemake/cli.py", line 2193, in args_to_api
dag_api.execute_workflow(
~~~~~~~~~~~~~~~~~~~~~~~~^
executor=args.executor,
^^^^^^^^^^^^^^^^^^^^^^^
......
scheduler_settings=scheduler_settings,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
)
^

File "/Users/victorcat/miniforge3/envs/snakemake/lib/python3.13/site-packages/snakemake/api.py", line 634, in execute_workflow
workflow.execute(
~~~~~~~~~~~~~~~~^
executor_plugin=executor_plugin,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
......
updated_files=updated_files,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
)
^

File "/Users/victorcat/miniforge3/envs/snakemake/lib/python3.13/site-packages/snakemake/workflow.py", line 1440, in execute
raise e

File "/Users/victorcat/miniforge3/envs/snakemake/lib/python3.13/site-packages/snakemake/workflow.py", line 1436, in execute
success = self.scheduler.schedule()

File "/Users/victorcat/miniforge3/envs/snakemake/lib/python3.13/site-packages/snakemake/scheduling/job_scheduler.py", line 402, in schedule
raise e

File "/Users/victorcat/miniforge3/envs/snakemake/lib/python3.13/site-packages/snakemake/scheduling/job_scheduler.py", line 391, in schedule
self._schedule_reevalutation(self.job_rate_limiter.timespan)
~~~~~~~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "/Users/victorcat/miniforge3/envs/snakemake/lib/python3.13/site-packages/snakemake/scheduling/job_scheduler.py", line 408, in _schedule_reevalutation
).start()
~~~~~^^

File "/Users/victorcat/miniforge3/envs/snakemake/lib/python3.13/threading.py", line 976, in start
_start_joinable_thread(self._bootstrap, handle=self._handle,
~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
daemon=self.daemon)
^^^^^^^^^^^^^^^^^^^

RuntimeError: can't start new thread

Похоже, что Snakemake каким-то образом сохраняет задание открытым после его завершения, что приводит к его сбою, когда мы достигаем конца рабочего процесса. Есть идеи, как это решить?

Подробнее здесь: https://stackoverflow.com/questions/798 ... new-thread