Open AI Gym: как передать несколько действий на каждом этапе в нашу пользовательскую среду спортзала? ⇐ Python

[Anonymous]

Я пытаюсь разработать специальную среду спортзала для варианта использования обучения с подкреплением. В этой среде моя главная цель — предсказать состояние на основе нескольких действий, которые должны быть предприняты на каждом шаге, т. е. просто мое пространство наблюдения зависело от нескольких действий в пространстве действий.
Я попытался предоставить среде несколько действий в пределах Кортеж различных значений пространств Box, как показано ниже:

Код: Выделить всё

self.action_space = Tuple([Box(low=np.array([22]),high=np.array([25])),
Box(low=np.array([0]), high=np.array([230])),
Box(low=np.array([0]), high=np.array([33])),
Box(low=np.array([0]), high=np.array([3.5]))])

Несколько областей действий:


Среда была успешно создана, однако, когда я попытался обучить модель PPO в указанной среде, я столкнулся со следующей ошибкой:

Код: Выделить всё

Error: AssertionError: The algorithm only supports (, , , ) as action spaces but Tuple(Box(22.0, 25.0, (1,), float32), Box(0.0, 230.0, (1,), float32), Box(0.0, 33.0, (1,), float32), Box(0.0, 3.5, (1,), float32)) was provided

Ошибка:

Может ли кто-нибудь подсказать, как решить эту проблему при работе с несколькими действиями в одном пространстве действий и что именно означает эта ошибка, поскольку я понял, что нам нужно передать пространства спортзала внутри кортежа, однако я передал пространство Box но выдается ошибка?

Подробнее здесь: https://stackoverflow.com/questions/695 ... om-gym-env