**AlexaTM:** In [89], Soltan et al. demonstrated that multilingual large-scale sequence-to-sequence (seq2seq) models, pre-trained on a mixture of denoising and Causal Language Modeling (CLM) tasks, are more efficient few-shot learners than decoder-only models on various task. They trained a 20 billion parameter multilingual seq2seq model called Alexa Teacher Model (AlexaTM 20B) and showed that it achieves state-of-the-art (SOTA) performance on 1-shot summarization tasks, outperforming a much larger 540B PaLM decoder model. AlexaTM consist of 46 encoder layers, 32 decoder layers, 32 attention heads, and \(d_{model}=4096\).
**AlexaTM:** [89]에서 Soltan 등은 잡음 제거 및 Causal Language Modeling (CLM) 작업의 혼합으로 사전 학습된 다국어 대규모 sequence-to-sequence (seq2seq) 모델이 다양한 작업에서 decoder 전용 모델보다 더 효율적인 few-shot 학습자임을 입증했습니다. 이들은 200억 파라미터의 다국어 seq2seq 모델인 Alexa Teacher Model (AlexaTM 20B)을 훈련하고, 이 모델이 1회 요약 작업에서 state-of-the-art (SOTA) 성능을 달성하며 훨씬 더 큰 5400억 파라미터의 PaLM decoder 모델을 능가한다는 것을 보여주었습니다. AlexaTM은 46개의 encoder 레이어, 32개의 decoder 레이어, 32개의 attention 헤드, \(d_{model}=4096\)으로 구성됩니다.
**AlexaTM:** [89]에서 Soltan 등은 잡음 제거 및 인과적 언어 모델링(CLM) 작업의 혼합으로 사전 학습된 다국어 대규모 시퀀스-투-시퀀스(seq2seq) 모델이 다양한 작업에서 디코더 전용 모델보다 더 효율적인 소수 샷 학습자임을 입증했습니다. 이들은 200억 파라미터의 다국어 시퀀스-투-시퀀스 모델인 Alexa Teacher Model(AlexaTM 20B)을 훈련하고, 이 모델이 1회 요약 작업에서 최첨단(SOTA) 성능을 달성하며 훨씬 더 큰 5400억 파라미터의 PaLM 디코더 모델을 능가한다는 것을 보여주었습니다. AlexaTM은 46개의 인코더 레이어, 32개의 디코더 레이어, 32개의 주의 헤드, \(d_{model}=4096\)으로 구성됩니다.