그런 다음 가치 반복 모듈 ( 330 ) 은 가치 반복 신경망 을 사용 하 여 , 공간 적 으로 스케일링 된 환경 맵 에 대한 하나 이상 의 가치 맵 을 생성 하 기 위해 가치 반복 입력 에 대해 , 즉 하나 이상 의 초기 가치 맵 에 대해 회 가치 반복 을 수행 한다 . 가치 반복 은 다익스트라 ( Dijkstra ) 알고리즘 의 일반 화 로 생각 할 수 있 으며 , 여기 서 각 상태 의 값 은 그 의 이웃 들 의 값 을 최대치 로 취하 고 각 이웃 상태 로 의 전환 의 보상 을 더 하 여 각각 의 반복 에서 반복 적 으로 계산 된다 . 가치 반복 을 수행 하 는 가치 반복 신경망 은 플래너 ( 120 ) 가 그 입력 에 대해 차별 화 될 수 있 게 하 는 , 교번 컨 볼루 션 및 채널 - 단위 최대 풀 링 연산 ( channel - wise max pooling operations ) 을 갖 는 신경망 이 다 . 가치 반복 및 가치 반복 신경망 은 A . Tamar , S . Levine 및 P . Abbeel 에 의한 2016 년 , NIPS 의 가치 반복 네트워크 에 보다 자세히 설명 되 어 있 다 .