디코더 는 히든 상태 벡터 를 받 아 단어 를 하나 씩 출력 한다 . 도 4 의 예 에서 는 [ 잘 ] , [ 모르 겠 는데 ] 라는 단어 가 출력 되 는 것 으로 되 어 있 다 . 각 출력 들 의 확률 은 softmax 활성 함수 를 이용 한 전체 연결 층 ( fully - connected layer ) 을 통해 계산 된다 . 이 확률 을 최대 화 하 는 방향 으로 워드 임 베 딩 을 업데이트 하 며 학습 한다 .