단 , Actor 부 ( 804 ) 는 상기 의 구성 에서 각 상태 에 있 던 적절 한 행동 을 기억 하 게 되 지만 , 실시 의 형태 1 대 로 움직이 는 것 은 학습 이 완료 된 시점 이 다 . 학습 중 에 는 경로 설 정부 ( 806 ) 로부터 학습 때 의 추천 행동 이 계산 되 어 전달 되 기 때문 에 , 학습 때 는 제 어부 ( 203 ) 에 대하 여 , 경로 설 정부 ( 806 ) 로부터 의 이동 신호 를 그대로 받 아 제 어부 ( 203 ) 가 구동 부 ( 204 ) 를 제어 하 게 된다 .