\(\bullet\) By pre-training with the LM objective, it seems that causal decoder architecture can achieve a superior zero-shot and few-shot generalization capacity. Existing research has shown that without multi-task fine-tuning, the causal decoder has better zero-shot performance than other architectures [29]. The success of GPT-3 [55] has demonstrates that the large causal decoder model can be a good few-shot learner. In addition, instruction tuning and alignment tuning discussed in Section 5 have been proven to further enhance the capability of large causal decoder models [66, 67, 69].
\(\bullet\) LM objective로 사전 훈련을 수행하면 causal decoder architecture가 우수한 zero-shot 및 few-shot generalization 기능을 달성할 수 있는 것으로 보입니다. 기존 연구에 따르면 multi-task Fine-tuning 없이 causal decoder는 다른 아키텍처보다 zero-shot 성능이 더 우수한 것으로 나타났습니다[29]. GPT-3 [55]의 성공은 큰 causal decoder 모델이 좋은 few-shot learner가 될 수 있음을 보여주었습니다. 또한 섹션 5에서 논의한 Instruction Tuning 및 alignment tuning은 대규모 causal decoder 모델의 성능을 더욱 향상시키는 것으로 입증되었습니다[66, 67, 69].
\(\bullet\) LM 목표로 사전 훈련을 수행하면 인과적 디코더 아키텍처가 우수한 제로 샷 및 소수 샷 일반화 기능을 달성할 수 있는 것으로 보입니다. 기존 연구에 따르면 다중 작업 미세 조정 없이 인과적 디코더는 다른 아키텍처보다 제로 샷 성능이 더 우수한 것으로 나타났습니다[29]. GPT-3 [55]의 성공은 큰 인과적 디코더 모델이 좋은 소수 샷 학습자가 될 수 있음을 보여주었습니다. 또한 섹션 5에서 논의한 지침 튜닝 및 정렬 튜닝은 대규모 인과적 디코더 모델의 성능을 더욱 향상시키는 것으로 입증되었습니다[66, 67, 69].