그리고 , 스텝 S 1109 에 있 어서 , 경로 설 정부 ( 806 ) 는 , 상술 한 방법 을 이용 하 여 학습 을 행하 고 , 경로 설 정부 ( 806 ) 는 , 다음 의 추천 값 을 Actor 부 ( 804 ) 에 줌 과 아울러 , Critic 부 ( 803 ) 가 보수 량 에 따라 구한 값 을 출력 하 고 , Actor 부 ( 804 ) 가 수신 한다 . 스텝 S 1110 에 있 어서 , Actor 부 ( 804 ) 는 , Critic 부 ( 803 ) 가 출력 한 보수 량 에 따라 구한 값 과 경로 설 정부 ( 806 ) 가 출력 한 다음 의 추천 값 을 가산 하 여 이동 보정 량 을 구한다 . 또 , 이 스텝 에 있 어서 , 경로 설 정부 ( 806 ) 가 출력 한 다음 의 추천 값 을 이용 하 는 것 만 으로 충분 한 효과 가 있 는 경우 에 는 , Critic 부 ( 803 ) 가 출력 한 보수 량 에 따라 구한 값 을 가산 할 필요 가 없 는 것 은 말 할 필요 도 없 다 . 또한 , Actor 부 ( 804 ) 는 , 이동 보정 량 을 구할 때 에 , Critic 부 ( 803 ) 가 출력 한 보수 량 에 따라 구한 값 의 경로 설 정부 ( 806 ) 가 출력 한 다음 의 추천 값 에 대한 가산 비율 을 설정 하 고 , 가산 비율 에 따라 변경 하 더라도 좋 다 .