There are also encoder-only language models that leverage the advantages of auto-regressive (decoder) models for model training and inference. Two examples are XLNet and UNILM. XLNet [48] is based on Transformer-XL, pre-trained using a generalized autoregressive method that enables learning bidirectional contexts by maximizing the expected likelihood over all permutations of the factorization order. UNILM (UNIfied pre-trained Language Model) [49] is pre-trained using three types of language modeling tasks: unidirectional, bidirectional, and sequence-to-sequence prediction. This is achieved by employing a shared Transformer network and utilizing specific self-attention masks to control what context the prediction is conditioned on, as illustrated in Fig 6. The pre-trained model can be fine-tuned for both natural language understanding and generation tasks.
모델 학습 및 추론을 위해 auto-regressive (decoder) 모델의 장점을 활용하는 encoder 전용 언어 모델도 있습니다. XLNet과 UNILM이 그 예입니다. XLNet [48]은 인수분해 순서의 모든 순열에 대한 예상 확률을 최대화하여 양방향 컨텍스트 학습을 가능하게 하는 일반화된 auto-regressive 방법을 사용하여 사전 학습된 Transformer-XL을 기반으로 합니다. UNILM (UNIfied pre-trained Language Model) [49]은 단방향, 양방향, 시퀀스 대 시퀀스 예측의 세 가지 유형의 언어 모델링 작업을 사용하여 사전 학습됩니다. 이는 그림 6과 같이 공유 Transformer 네트워크를 사용하고 특정 self-attention 마스크를 활용하여 예측이 어떤 컨텍스트에 조건부로 적용되는지 제어함으로써 달성할 수 있습니다. 사전 학습된 모델은 자연어 이해 및 생성 작업 모두에 대해 Fine-tuning할 수 있습니다.
모델 학습 및 추론을 위해 자동 회귀(디코더) 모델의 장점을 활용하는 인코더 전용 언어 모델도 있습니다. XLNet과 UNILM이 그 예입니다. XLNet [48]은 인수분해 순서의 모든 순열에 대한 예상 확률을 최대화하여 양방향 컨텍스트 학습을 가능하게 하는 일반화된 자동 회귀 방법을 사용하여 사전 학습된 Transformer-XL을 기반으로 합니다. UNILM(통합 사전 학습 언어 모델) [49]은 단방향, 양방향, 시퀀스 대 시퀀스 예측의 세 가지 유형의 언어 모델링 작업을 사용하여 사전 학습됩니다. 이는 그림 6과 같이 공유 트랜스포머 네트워크를 사용하고 특정 자기 주의 마스크를 활용하여 예측이 어떤 컨텍스트에 조건부로 적용되는지 제어함으로써 달성할 수 있습니다. 사전 학습된 모델은 자연어 이해 및 생성 작업 모두에 대해 미세 조정할 수 있습니다.