즉 , 다음 상태 s ' 가 최종 상태 ( final state ) 인 경우 에 는 종래 NFQ 알고리즘 과 마찬가지 로 최종 상태 의 보상 r 을 타 겟 값 으로 설정 하 여 인공 신경망 을 훈련 시키 도록 할 수 있 으나 , 다음 상태 s ' 가 최종 상태 가 아닌 경우 , 즉 전이 상태 ( transition state ) 이 면 학습 대상 인 샘플 데이터 의 시퀀스 의 길이 를 기반 으로 다음 상태 로 의 전이 비용 을 계산 할 수 있 다 . 보다 구체 적 으로 , 수학식 2 에 나타난 바 와 같이 , 현재 학습 대상 인 시퀀스 의 최종 상태 의 보상 과 그 시퀀스 의 길이 를 기반 으로 , 현재 시퀀스 에 포함 된 각각 의 상태 들 의 평균 보상 을 결정 할 수 있 다 . 또한 , 최종 상태 보상 은 정규 화 ( Normalize ) 시키 고 , 이 를 시퀀스 의 길이 로 나눈 후 에 1 을 뺀 값 을 각각 의 상태 의 전이 비용 으로 설정 함 으로써 , 상태 전이 비용 이 항상 음수 값 을 가지 되 , 비용 이 클수록 절대값 이 크 고 , 비용 이 작 을수록 절대값 이 작 도록 전이 비용 을 결정 할 수 있 다 .