As the name suggests, the encoder-only models only consist of an encoder network. These models are originally developed for language understanding tasks, such as text classification, where the models need to predict a class label for an input text. Representative encoder-only models include BERT and its variants, e.g., RoBERTa, ALBERT, DeBERTa, XLM, XLNet, UNILM, as to be described below.
이름에서 알 수 있듯이 encoder-only 모델은 encoder 네트워크로만 구성됩니다. 이러한 모델은 원래 입력 텍스트에 대한 클래스 레이블을 예측해야 하는 텍스트 분류와 같은 언어 이해 작업용으로 개발되었습니다. 대표적인 encoder-only 모델로는 BERT와 그 변형(예: RoBERTa, ALBERT, DeBERTa, XLM, XLNet, UNILM)이 있으며, 아래에서 설명하겠습니다.
이름에서 알 수 있듯이 인코더 전용 모델은 인코더 네트워크로만 구성됩니다. 이러한 모델은 원래 입력 텍스트에 대한 클래스 레이블을 예측해야 하는 텍스트 분류와 같은 언어 이해 작업용으로 개발되었습니다. 대표적인 인코더 전용 모델로는 BERT와 그 변형(예: RoBERTa, ALBERT, DeBERTa, XLM, XLNet, UNILM)이 있으며, 아래에서 설명하겠습니다.