Мобильная версияУстановка запускает несколько параллельных сред и использует визуальное наблюдение на основе RenderTexture. Тренировка проходит нормально в течение примерно 20–60 минут. В какой-то момент симуляция перестает развиваться. Academy.StepCount больше не увеличивается, и тренер Python бесконечно ждет новых данных. Процессы Unity остаются активными и не аварийно завершают работу, а в журналах нет явных исключений. Системные ресурсы (ЦП, графический процессор, память) на момент остановки кажутся стабильными.
После еще 20–30 минут бездействия обучение внезапно возобновляется и продолжается, как ни в чем не бывало. Благодаря этому это меньше похоже на сбой, а больше похоже на какую-то внутреннюю блокировку или взаимоблокировку, которая в конечном итоге устраняется.
Я проверил, что проблема не зависит от того, работает ли трейнер на графическом процессоре или на процессоре. Понижение уровня качества Unity также не меняет поведения. Я добавил сторожевой таймер на стороне Unity, чтобы подтвердить, что Academy.StepCount действительно останавливает продвижение во время остановки.
Самое важное наблюдение заключается в следующем: когда я полностью удаляю наблюдение RenderTexture и переключаюсь на невизуальные наблюдения, проблема больше не возникает. При той же конфигурации обучения, но без датчиков на основе RenderTexture обучение выполняется непрерывно, без зависаний.
На этом этапе кажется, что цикл моделирования Unity блокируется где-то в конвейере визуального наблюдения, а не происходит сбой тренажера Python.
Код: Выделить всё
Version information:
ml-agents: 1.1.0,
ml-agents-envs: 1.1.0,
Communicator API: 1.5.0,
PyTorch: 2.1.1+cpu
Мне удалось подключить к нему профилировщик Unity и увидеть следующий результат:
Подробнее здесь: https://stackoverflow.com/questions/798 ... nd-ml-agen
