Расширенный случайный поиск на основе стабильных базовых показателей останавливает обучение после 2464 миллионов шагов ⇐ Python

[Anonymous]

ARS всегда останавливается после 2464 миллионов шагов, несмотря на экспоненциальный рост вознаграждения

Код: Выделить всё

if __name__ == "__main__":

env = CustomEnv()
#check_env(env)
# Simplified architecture
policy_kwargs = dict(
net_arch=[2048,1024, 512, 256,128,2],
activation_fn=torch.nn.GELU,
)

model = ARS(ARSPolicy, env, verbose=0, tensorboard_log=logdir, device='cuda',
policy_kwargs=policy_kwargs,stats_window_size =1000,delta_std=0.07,learning_rate=0.0035,n_eval_episodes=500)

TIMESTEPS = 12288000
#vec_env = model.get_env()
observation,info = env.reset()
done = False

while True:

model.learn(total_timesteps=TIMESTEPS, reset_num_timesteps=False, tb_log_name=f"ARS")

model.save(f"{models_dir}/model_{int(time.time())}")

action, _ = model.predict(observation)

observation, reward, terminated, truncated, info = env.step(action)

Я пытался найти какой-нибудь лимит/раннюю остановку или что-то в библиотеке stablabaselines contrib, но ничего не нашел

Подробнее здесь: https://stackoverflow.com/questions/788 ... after-2-46