[ 0662 ] 일부 실시 예 들 및 / 또는 사용 시나리오 들 에서 , 딥 뉴 럴 네트워크 는 , 때로 방향 성 비 순환 그래프 ( directed acyclic graph ) 로서 표현 되 는 고 - 차원 파라미터 화 함수 이 다 . 백 전파 기법 들 은 때로 순환 그래프 ( cyclic graph ) 로 표현 된다 . 그래프 의 사이클 은 피드백 반복 이 다 . 제 1 풀 네트워크 평가 에 의해 산출 된 구배 들 은 바로 다음 반복 에서 사용 되 는 가중치 들 을 변화 시키 는데 , 이 는 반복 이 연속 차등 시스템 의 이산 근사치 이 기 때문 이 다 . 이 산 근사치 는 시변 통계 와 함께 비 편향 연속 - 노이즈 프로세스 를 포함 한다 . 노이즈 프로세스 는 연속 시스템 이 이 산 - 시간 학습 시스템 들 에서 관찰 되 는 현상 들 을 모델링 하 는 것 을 가능 하 게 하 기 위해 정규 화 를 제공 한다 . 이 산 의 경우 에 , 정규 화 는 샘플링 프로시저 ( 예컨대 , SGD ) , 학습 레이트 에 의해 , 그리고 / 또는 다른 명시 적 메커니즘 들 에 의해 제공 된다 . 시간 - 의존 노이즈 프로세스 는 파라미터 공간 에서 로컬 고 - 주파수 윤곽 들 을 제거 하 는 학습 - 레이트 스케줄 을 사용 하 는 것 을 가능 하 게 한다 . 올바른 구역 에 접근 됨 에 따라 , 정규 화 가 감소 되 어 , 일부 상황 들 에서 는 더 양호 한 최종 솔루션 이 될 수 있 다 .