For this family, at each stage, the attention layers can access all the words in the initial sentence. The pre-training of these models usually consist of somehow corrupting a given sentence (for instance, by masking random words in it) and tasking the model with finding or reconstructing the initial sentence. Encoder models are great for tasks requiring an understanding of the full sequence, such as sentence classification, named entity recognition, and extractive question answering. One prominent encoder only model is BERT (Bidirectional Encoder Representations from Transformers), proposed in [24].
이 가족의 경우 각 단계에서 attention 계층은 초기 문장의 모든 단어에 액세스할 수 있습니다. 이러한 모델의 pre-training은 일반적으로 주어진 문장을 어떻게 손상시키는 것(예: 문장의 임의 단어를 마스킹하는 것)으로 구성되며, 모델은 초기 문장을 찾거나 재구성하는 작업을 수행합니다. Encoder 모델은 문장 분류, 명명된 개체 인식, 추출형 질문 답변 등 전체 시퀀스에 대한 이해가 필요한 작업에 적합합니다. 대표적인 Encoder 전용 모델로는 [24]에서 제안한 BERT(Bidirectional Encoder Representations from Transformers)가 있습니다.
이 가족의 경우 각 단계에서 주의 계층은 초기 문장의 모든 단어에 액세스할 수 있습니다. 이러한 모델의 사전 학습은 일반적으로 주어진 문장을 어떻게 손상시키는 것(예: 문장의 임의 단어를 마스킹하는 것)으로 구성되며, 모델은 초기 문장을 찾거나 재구성하는 작업을 수행합니다. 인코더 모델은 문장 분류, 명명된 개체 인식, 추출형 질문 답변 등 전체 시퀀스에 대한 이해가 필요한 작업에 적합합니다. 대표적인 인코더 전용 모델로는 [24]에서 제안한 BERT(Bidirectional Encoder Representations from Transformers)가 있습니다.