즉 , Actor - Critic 의 종래 의 모델 에서 는 , 감합 이 성공 했 을 때 에 R = 1 , 그렇 지 않 을 때 는 R = 0 으로 정의 되 기 때문 에 , 감합 이 성공 했 을 때 에 처음 으로 학습 이 행하 여 지 고 , 또한 감합 이 성공 할 때 까지 는 , 시행 에 이용 되 는 이동 보정 량 은 랜덤 으로 주어지 기 때문 에 , 시행 의 실패 정도 에 따른 다음 의 시행 을 위한 이동 보정 량 의 결정 은 행하 여 지 지 않 는다 . 이것 은 , Actor - Critic 의 종래 의 모델 뿐 아니 라 , Q - Learning 등 다른 강화 학습 모델 을 이용 하 더라도 감합 의 성공 과 실패 그 자체 밖에 평가 하 지 않 기 때문 에 , 마찬가지 의 결과 가 된다 . 본 발명 의 본 실시 의 형태 에 있 어서 는 , 이 실패 정도 를 평가 하 여 다음 의 시행 을 위한 이동 보정 량 을 결정 하 는 프로세스 에 대하 여 설명 한다 .