|
exp_config = { |
|
'env': { |
|
'manager': { |
|
'episode_num': float("inf"), |
|
'max_retry': 1, |
|
'retry_type': 'reset', |
|
'auto_reset': True, |
|
'step_timeout': None, |
|
'reset_timeout': None, |
|
'retry_waiting_time': 0.1, |
|
'cfg_type': 'BaseEnvManagerDict' |
|
}, |
|
'stop_value': -200, |
|
'n_evaluator_episode': 5, |
|
'collector_env_num': 8, |
|
'evaluator_env_num': 5, |
|
'act_scale': True |
|
}, |
|
'policy': { |
|
'model': { |
|
'action_space': 'continuous', |
|
'obs_shape': 3, |
|
'action_shape': 1 |
|
}, |
|
'learn': { |
|
'learner': { |
|
'train_iterations': 1000000000, |
|
'dataloader': { |
|
'num_workers': 0 |
|
}, |
|
'log_policy': True, |
|
'hook': { |
|
'load_ckpt_before_run': '', |
|
'log_show_after_iter': 100, |
|
'save_ckpt_after_iter': 10000, |
|
'save_ckpt_after_run': True |
|
}, |
|
'cfg_type': 'BaseLearnerDict' |
|
}, |
|
'batch_size': 200, |
|
'learning_rate': 0.001, |
|
'entropy_weight': 0.001, |
|
'grad_norm': 5, |
|
'ignore_done': False |
|
}, |
|
'collect': { |
|
'collector': { |
|
'get_train_sample': True |
|
}, |
|
'unroll_len': 1, |
|
'discount_factor': 0.99, |
|
'n_episode': 20 |
|
}, |
|
'eval': { |
|
'evaluator': { |
|
'eval_freq': 200, |
|
'render': { |
|
'render_freq': -1, |
|
'mode': 'train_iter' |
|
}, |
|
'cfg_type': 'InteractionSerialEvaluatorDict', |
|
'stop_value': -200, |
|
'n_episode': 5 |
|
} |
|
}, |
|
'other': { |
|
'replay_buffer': {} |
|
}, |
|
'on_policy': True, |
|
'cuda': False, |
|
'multi_gpu': False, |
|
'bp_update_sync': True, |
|
'traj_len_inf': False, |
|
'type': 'pg', |
|
'action_space': 'continuous', |
|
'deterministic_eval': True, |
|
'cfg_type': 'PGPolicyDict' |
|
}, |
|
'exp_name': 'Pendulum-v1-PG', |
|
'seed': 0, |
|
'wandb_logger': { |
|
'gradient_logger': True, |
|
'video_logger': True, |
|
'plot_logger': True, |
|
'action_logger': True, |
|
'return_logger': False |
|
} |
|
} |
|
|