여기 서 종래 의 강화 학습 수법 에 대하 여 설명 한다 . 본 실시 예 에서 는 강화 학습 중 에서 도 Actor - Critic 모델 이 라고 불리 는 모델 을 사용 하 고 있 다 ( 참고 문헌 : 강화 학습 : R . S . Sutton and A . G . Barto 2000 년 12 월 출판 ) . Actor 부 ( 804 ) , Critic 부 ( 803 ) 는 환경 의 상태 를 촬상부 ( 201 ) 나 힘 센서 ( 801 ) 를 통해서 취득 하 고 있 다 . Actor 부 ( 804 ) 는 , 센서 디바이스 를 이용 하 여 취득 한 환경 상태 I 를 입력 으로 하 고 , 로봇 컨트롤러 에 제 어량 A 를 출력 하 는 함수 이 다 . Critic 부 ( 803 ) 는 Actor 부 ( 804 ) 의 감합 이 성공 하 도록 , 입력 I 에 대하 여 Actor 부 ( 804 ) 에 출력 A 를 적절 하 게 학습 시키 는 기구 이 다 .