These models use both encoder and decoder, and are sometimes called sequence-to-sequence models. At each stage, the attention layers of the encoder can access all the words in the initial sentence, whereas the attention layers of the decoder only accesses the words positioned before a given word in the input. These models are usually pre-trained using the objectives of encoder or decoder models, but usually involve something a bit more complex. For instance, some models are pretrained by replacing random spans of text (that can contain several words) with a single mask special word, and the objective is then to predict the text that this mask word replaces. Encoder-decoder models are best suited for tasks about generating new sentences conditioned on a given input, such as summarization, translation, or generative question answering.
이러한 모델은 Encoder와 Decoder를 모두 사용하며, 시퀀스-투-시퀀스 모델이라고도 합니다. 각 단계에서 Encoder의 attention 레이어는 초기 문장의 모든 단어에 액세스할 수 있는 반면, Decoder의 attention 레이어는 입력에서 주어진 단어 앞에 위치한 단어에만 액세스합니다. 이러한 모델은 일반적으로 Encoder 또는 Decoder 모델의 objective를 사용하여 사전 학습되지만, 일반적으로 좀 더 복잡한 것이 포함됩니다. 예를 들어, 일부 모델은 여러 단어가 포함될 수 있는 텍스트의 임의의 범위를 하나의 mask 특수 단어로 대체하여 사전 학습한 다음, 이 mask 단어가 대체하는 텍스트를 예측하는 것이 objective입니다. Encoder-Decoder 모델은 요약, 번역 또는 generative question answering과 같이 주어진 입력에 따라 새로운 문장을 생성하는 작업에 가장 적합합니다.
이러한 모델은 인코더와 디코더를 모두 사용하며, 시퀀스-투-시퀀스 모델이라고도 합니다. 각 단계에서 인코더의 주의도 레이어는 초기 문장의 모든 단어에 액세스할 수 있는 반면, 디코더의 주의도 레이어는 입력에서 주어진 단어 앞에 위치한 단어에만 액세스합니다. 이러한 모델은 일반적으로 인코더 또는 디코더 모델의 목표를 사용하여 사전 학습되지만, 일반적으로 좀 더 복잡한 것이 포함됩니다. 예를 들어, 일부 모델은 여러 단어가 포함될 수 있는 텍스트의 임의의 범위를 하나의 마스크 특수 단어로 대체하여 사전 학습한 다음, 이 마스크 단어가 대체하는 텍스트를 예측하는 것이 목표입니다. 인코더-디코더 모델은 요약, 번역 또는 생성적 질문 답변과 같이 주어진 입력에 따라 새로운 문장을 생성하는 작업에 가장 적합합니다.