For these models, at each stage, for any word, the attention layers can only access the words positioned before that in the sentence. These models are also sometimes called auto-regressive models. The pretraining of these models is usually formulated as predicting the next word (or token) in the sequence. The decoder-only models are best suited for tasks involving text generation. GPT models are prominent example of this model category.
이러한 모델의 경우 각 단계에서 모든 단어에 대해 attention 계층은 문장에서 해당 단어 앞에 위치한 단어에만 액세스할 수 있습니다. 이러한 모델을 auto-regressive 모델이라고도 합니다. 이러한 모델의 pretraining은 일반적으로 시퀀스에서 다음 단어(또는 토큰)를 예측하는 것으로 공식화됩니다. decoder-only 모델은 텍스트 생성과 관련된 작업에 가장 적합합니다. GPT 모델이 이 모델 카테고리의 대표적인 예입니다.
이러한 모델의 경우 각 단계에서 모든 단어에 대해 주의도 계층은 문장에서 해당 단어 앞에 위치한 단어에만 액세스할 수 있습니다. 이러한 모델을 자동 회귀 모델이라고도 합니다. 이러한 모델의 사전 학습은 일반적으로 시퀀스에서 다음 단어(또는 토큰)를 예측하는 것으로 공식화됩니다. 디코더 전용 모델은 텍스트 생성과 관련된 작업에 가장 적합합니다. GPT 모델이 이 모델 카테고리의 대표적인 예입니다.