[ 0653 ] 도 26 a 는 SGD 에 대한 파이프라인 흐름 의 실시 예 를 예시 한다 . 뉴 럴 네트워크 의 레이어 들 의 가중치 업데이트 들 은 , 뉴 럴 네트워크 의 모든 레이어 들 을 통한 , 대응 하 는 풀 포워드 패스 및 대응 하 는 풀 백 워드 패스 의 완료 후 에 완료 된다 . 바로 다음 포워드 패스 는 직전 의 포워드 패스 와 대응 하 는 가중치 업데이트 들 의 완료 후 에 만 시작 된다 . 예시 된 바 와 같이 , 제 1 포워드 패스 ( 2611 ) 가 ( 도면 에서 좌측 으로부터 우측 으로 예시 된 바 와 같이 제 1 레이어 로부터 최종 레이어 로 ) 수행 된다 . 이어서 , 제 1 백 워드 패스 ( 2621 ) 가 ( 도면 에서 우측 으로부터 좌측 으로 예시 된 바 와 같이 최종 레이어 로부터 제 1 레이어 로 ) 수행 된다 . 제 1 백 워드 패스 ( 2621 ) 동안 , 가중치 들 은 최종 레이어 로부터 제 1 레이어 까지 업데이트 된다 . 제 1 백 워드 패스 ( 2621 ) 가 완료 될 때 , ( 제 1 레이어 의 ) 최종 가중치 업데이트 가 완료 된다 . 이어서 , 제 2 포워드 패스 ( 2612 ) 가 ( 제 1 백 워드 패스 ( 2621 ) 동안 업데이트 된 가중치 들 을 사용 하 여 ) 수행 되 고 , 그 이후 에 , 제 2 백 워드 패스 ( 2622 ) 가 수행 되 고 , 그 제 2 백 워드 패스 ( 2622 ) 동안 가중치 업데이트 들 이 수행 된다 .