일부 신경망 은 순환 신경망 이 다 . 순환 신경망 은 입력 시퀀스 를 수신 하 여 그 입력 시퀀스 로부터 출력 시퀀스 를 생성 하 는 신경망 이 다 . 특히 , 순환 신경망 은 현재 시간 단계 에서 출력 을 계산 할 때 이전 시간 단계 로부터 의 네트워크 의 내부 상태 중 의 일부 또는 전부 를 사용 할 수 있 다 . 순환 신경망 의 예 는 하나 이상 의 장 단기 ( LSTM ) 메모리 블록 을 포함 하 는 LSTM 신경망 이 다 . 각각 의 LSTM 메모리 블록 은 , 셀 이 예 를 들 어 현재 활성 화 를 생성 하 는 데 사용 하 거나 LSTM 신경망 의 다른 구성 요소 로 제공 될 셀 에 대한 이전 상태 를 저장 할 수 있 도록 하 는 입력 게이트 , forget 게이트 및 출력 게이트 를 각각 포함 하 는 하나 이상 의 셀 을 포함 할 수 있 다 .