[ 0646 ] 예컨대 , 뉴런 들 의 레이어 들 의 일부 ( 예컨대 , 각각 의 모든 짝수 레이어 ) 만 이 개별 활성 화 들 을 저장 하 고 , 다른 레이어 들 ( 예컨대 , 각각 의 모든 홀수 레이어 ) 은 개별 활성 화 들 을 폐기 한다 . 저장 된 활성 화 들 을 갖 는 레이어 들 ( 예컨대 , 각각 의 모든 짝수 레이어 ) 은 가장 최근 가중치 들 을 사용 하 여 , 재 컴퓨팅 하고 , 재 컴퓨팅 된 활성 화 들 을 , 활성 화 들 을 폐기 한 레이어 들 ( 예컨대 , 각각 의 모든 홀수 레이어 ) 에 송신 한다 . 일부 시나리오 들 에서 , 재 컴퓨팅 된 활성 화 들 은 폐기 된 활성 화 들 과 상이 한데 , 이 는 가장 최근 가중치 들 이 포워드 패스 동안 이용 가능 했 던 가중치 들 ( 예컨대 , 포워드 패스 와 연관 된 백 워드 패스 사이 에 발생 된 하나 이상 의 가중치 업데이트 들 ) 과 상이 하 기 때문 이 다 . 다양 한 실시 예 들 에서 , 활성 화 들 을 저장 및 폐기 하 는 레이어 들 의 수 및 타입 은 감소 된 메모리 사용 과 증가 된 컴 퓨 테이 션 의 원 하 는 밸런스 에 대해 최적 화 하 도록 선택 된다 . 하나 의 예 로서 , 각각 의 모든 4 번 째 레이어 는 활성 화 들 을 저장 하 고 , 모든 다른 레이어 들 은 활성 화 들 을 폐기 한다 . 다른 예 로서 , 콘 볼루 션 레이어 들 이 활성 화 들 을 저장 하 도록 선택 되 고 , 다른 레이어 들 은 활성 화 들 을 폐기 하 도록 선택 된다 .