증류 를 통한 공동 훈련 . 복수 의 조기 출구 를 도입 한 후 , 네트워크 의 모든 부분 을 공동 으로 최적 화 하 기 위해 각 출력 이 최종 손실 함수 에 고려 된다 . 이 를 위해 , 본 개시 는 가 중합 방법 을 채용 하 는데 , 여기 서 모든 분류기 의 손실 의 가중 합 이 최적 화 된다 . 조기 분류기 ( 즉 , 조기 출구 ) 의 정확도 를 추가 로 향상 시키 기 위해 , 본 개시 는 지식 을 말단 계층 으로부터 중간 분류기 로 전달 하 는 메커니즘 으로서 증류 를 사용 한다 . 특히 , 최종 분류기 는 조기 출구 에서 분류기 에 지식 을 증류 하 는 교사 로서 사용 된다 . 이러 한 방식 으로 , 최종 분류기 의 소프트 맥스 계층 의 출력 은 하드 타 겟 으로서 실측 - 검증 라벨 을 사용 하 는 대신 중간 분류기 의 손실 을 계산 할 때 소프트 타 겟 으로서 사용 된다 .