Рэй параллелизированная функция периодически не может найти упаковку ⇐ Python

[Anonymous]

У меня есть следующая структура каталогов для моего проекта и локальный репозиторий функций утилиты: < /p>

Код: Выделить всё

mydir/
- proj/
- main_script.py
- utils/
- package1/
- __init__.py
- module1.py
- module2.py
- package2/
< /code>
Мой основной сценарий содержит параллелизированную функцию лучей, которая вызывает функцию из каталога утилит. Я выполняю инициализацию импорта и лучей следующим образом: < /p>
import os
import sys
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.insert(0, BASE_DIR)
from utils.package1 import module1

@ray.remote
def fcn_parallel(input_args):
*some code here*
module1.do_something()
*some code here*

ray.init(runtime_env={'py_modules': [module1]}, num_cpus=4)
obj_refs = [fcn_parallel.remote(input_args[i]) for i in range(n)]
ray.get(obj_refs)

Это сработало на некоторое время, но теперь я получаю модуль, который не найден, ошибка при получении ссылок объекта. Иногда не импортируя не связанный пакет работает один раз, но когда я перезагружаю ядро и повторное путешествие, я получаю ту же ошибку. Единственное исправление, которое я обнаружил до сих пор, - добавить следующее: < /p>

Код: Выделить всё

os.environ['PYTHONPATH'] = 'C:/some_path/mydir/'
os.environ['RAY_RUNTIME_ENV_WORKING_DIR_CACHE_SIZE_GB'] = '0'

, что кажется странным, так как я уже добавил base_dir в путь. Base_dir такой же, как c:/some_path/mydir/. Если я не параллельно с лучей и просто запускаюсь в сериале, все пакеты и модули можно найти и импортировать просто хорошо, не добавляя эти две строки. Принятый ответ также говорит, что для добавления клавиши runtime_env во время ray.init () , что я сделал, но не решил проблему.>

Подробнее здесь: https://stackoverflow.com/questions/797 ... nd-package