Dask распространяет старую версию моего кода. ⇐ Python

[Anonymous]

Я анализирую некоторые данные с помощью dask, распределенных в кластере SLURM. Я также использую блокнот Jupyter. Я часто меняю свою кодовую базу и выполняю задания. В последнее время многие мои работы начали рушиться. Я подозревал, что мой код не обновляется, поэтому я провел несколько тестов и похоже, что это так (я изменил имена функций, перезапустил кластеры, проверил соответствующие номера строк).
Когда я пишу это, я запускаю два экземпляра кластера, и один работает нормально, а другой выходит из строя с такой ошибкой (см. журналы ниже). Когда я тестирую его на своем локальном компьютере, задание выполняется нормально.
Я также должен отметить, что использую расширение Jupyter:
%load_ext autoreload
%autoreload 2
## This forces modules to reload every time when called

Будем благодарны за любую помощь.
Дополнительная информация:

• Версия Dask: dask, версия 2023.5.0
• Версия Python: Python 3.8.16
• Операционная система: Ubuntu 20.04.6 LTS (GNU/Linux) 5.4.0-214-generic x86_64)
• Метод установки (conda, pip, source): conda

Журнал рабочего процесса:
2025-11-09 19:47:55,102 - distributed.nanny - INFO - Start Nanny at: 'tcp://172.22.13.234:42697'
2025-11-09 19:47:56,145 - distributed.worker - INFO - Start worker at: tcp://172.22.13.234:33121
2025-11-09 19:47:56,145 - distributed.worker - INFO - Listening to: tcp://172.22.13.234:33121
2025-11-09 19:47:56,145 - distributed.worker - INFO - Worker name: DaskSlurmCluster-1
2025-11-09 19:47:56,145 - distributed.worker - INFO - dashboard at: 172.22.13.234:45521
2025-11-09 19:47:56,146 - distributed.worker - INFO - Waiting to connect to: tcp://172.22.13.232:40769
2025-11-09 19:47:56,146 - distributed.worker - INFO - -------------------------------------------------
2025-11-09 19:47:56,146 - distributed.worker - INFO - Threads: 1
2025-11-09 19:47:56,146 - distributed.worker - INFO - Memory: 0.95 GiB
2025-11-09 19:47:56,146 - distributed.worker - INFO - Local Directory: /tmp/dask-scratch-space/worker-7kpf4xi5
2025-11-09 19:47:56,146 - distributed.worker - INFO - -------------------------------------------------
2025-11-09 19:47:56,752 - distributed.worker - INFO - Starting Worker plugin shuffle
2025-11-09 19:47:56,753 - distributed.worker - INFO - Registered to: tcp://172.22.13.232:40769
2025-11-09 19:47:56,753 - distributed.worker - INFO - -------------------------------------------------
2025-11-09 19:47:56,754 - distributed.core - INFO - Starting established connection to tcp://172.22.13.232:40769
2025-11-09 19:48:00,110 - distributed.worker - ERROR - Compute Failed
Key: ps_v6-d908d0d4-535c-4183-a3d4-5544b31da3e0
State: executing
Task:
Exception: 'ImportError("cannot import name \'single_cell_locate_framewise_v2\' from \'trajectory.trackandsave\' (/tmp/dask-scratch-space/trajectory/trackandsave.py)")'
Traceback: ' File "", line 398, in ps_v6\n'

... (several other similar blocks)

2025-11-09 19:48:03,072 - distributed.worker - INFO - Stopping worker at tcp://172.22.13.234:33121. Reason: scheduler-remove-worker
2025-11-09 19:48:03,075 - distributed.nanny - INFO - Closing Nanny gracefully at 'tcp://172.22.13.234:42697'. Reason: scheduler-remove-worker
2025-11-09 19:48:03,076 - distributed.worker - INFO - Removing Worker plugin shuffle
2025-11-09 19:48:03,178 - distributed.nanny - INFO - Worker closed
2025-11-09 19:48:03,178 - distributed.core - INFO - Connection to tcp://172.22.13.232:40769 has been closed.
slurmstepd-slurm4: error: *** JOB 1614242 ON slurm4 CANCELLED AT 2025-11-09T19:48:03 ***


Подробнее здесь: https://stackoverflow.com/questions/798 ... of-my-code