강화 학습 에서 는 , 상태 가치 함수 V ( I ) 라고 불리 는 함수 를 Critic 부 ( 803 ) 에서 학습 한다 . 여기 서 , 시각 t = 1 ( 예컨대 감합 시행 개시 때 ) 일 때 에 , 상태 I ( 1 ) 에서 행동 A ( 1 ) 을 취하 고 , 시각 t = 2 ( 예컨대 1 회 째 의 감합 시행 종료 후 2 회 째 의 감합 개시 전 ) 일 때 에 환경 이 I ( 2 ) 로 변화 하 고 , 보수 량 R ( 2 ) ( 초회 의 감합 시행 결과 ) 를 얻 었 다고 한다 . 다양 한 갱신 식 을 생각 할 수 있 지만 , 하 기 를 일례 로서 든다 .