Разработка программного обеспечения с помощью TorchRL для предсказателя человеческих предпочтений [закрыто] ⇐ Python

[Anonymous]

Я пытаюсь реализовать документ «Глубокое обучение с подкреплением на основе человеческих предпочтений» в PyTorch, используя TorchRL. Я бы хотел, чтобы предсказатель человеческих предпочтений был интегрирован в существующую кодовую базу TorchRL, а не в однозначном переводе ссылочного репозитория, который плохо интегрируется с различными средами.
Мой вопрос следующий:

• Где лучше всего добавить такую ​​функцию в существующую базу кода TorchRL, чтобы она хорошо интегрировалась? т. е. как преобразование

Примечание:
Я рассмотрел пример RLHF в репозитории TorchRL, который, насколько я понимаю, не совсем применим, поскольку RLHF выполняется после обучения, а DRLHP — во время обучения.

Подробнее здесь: https://stackoverflow.com/questions/790 ... -predictor