In [52], Raffle et al. shows that almost all NLP tasks can be cast as a sequence-to-sequence generation task. Thus, an encoder-decoder language model, by design, is a unified model in that it can perform all natural language understanding and generation tasks. Representative encoder-decoder PLMs we will review below are T5, mT5, MASS, and BART.
[52]에서 Raffle 등은 거의 모든 NLP 작업을 시퀀스 대 시퀀스 생성 작업으로 전환할 수 있음을 보여줍니다. 따라서 Encoder-Decoder 언어 모델은 설계상 모든 자연어 이해 및 생성 작업을 수행할 수 있는 통합 모델입니다. 아래에서 검토할 대표적인 Encoder-Decoder PLM은 T5, mT5, MASS, BART입니다.
[52]에서 Raffle 등은 거의 모든 NLP 작업을 시퀀스 대 시퀀스 생성 작업으로 전환할 수 있음을 보여줍니다. 따라서 인코더-디코더 언어 모델은 설계상 모든 자연어 이해 및 생성 작업을 수행할 수 있는 통합 모델입니다. 아래에서 검토할 대표적인 인코더-디코더 PLM은 T5, mT5, MASS, BART입니다.