Pre-trained language models (PLMs) can automatically learn general representations from unlabeled text and achieve excellent performance through fine-tuning on downstream tasks. Devlin et al. (2019); Raffel et al. (2020); Radford and Narasimhan (2018). Recently, scaling up language models significantly improves performance and brings many surprises, such as emergent abilities Wei et al. (2022); Schaeffer et al. (2023). Therefore, the paradigm of natural language processing is shifting from pre-training with fine-tuning to pre-training with in-context learning. However, as of now, large-scale language models (LLMs) still have considerable room for improvement on complex reasoning tasks, such as mathematical reasoning Cobbe et al. (2021); Patel et al. (2021), commonsense reasoning Talmor et al. (2021); Mihaylov et al. (2018), etc.
사전 학습된 언어 모델(PLM)은 레이블이 없는 텍스트에서 일반적인 표현을 자동으로 학습하고 다운스트림 작업에 대한 Fine-tuning을 통해 뛰어난 성능을 달성할 수 있습니다. Devlin et al. (2019); Raffel et al. (2020); Radford and Narasimhan (2018). 최근에는 언어 모델을 대규모로 확장하면 성능이 크게 향상되고, 새로운 능력이 등장하는 등 많은 놀라움을 가져다주었습니다 Wei et al. (2022); Schaeffer et al. (2023). 따라서 자연어 처리의 패러다임은 Fine-tuning을 통한 사전 학습에서 In-Context Learning을 통한 사전 학습으로 바뀌고 있습니다. 그러나 현재까지 대규모 언어 모델(LLM)은 수학적 추론과 같은 복잡한 추론 작업에서 여전히 상당한 개선의 여지가 있습니다 Cobbe et al. (2021); Patel et al. (2021), 상식 추론 Talmor et al. (2021); Mihaylov et al. (2018), 등
사전 학습된 언어 모델(PLM)은 레이블이 없는 텍스트에서 일반적인 표현을 자동으로 학습하고 다운스트림 작업에 대한 미세 조정을 통해 뛰어난 성능을 달성할 수 있습니다. Devlin et al. (2019); Raffel et al. (2020); Radford and Narasimhan (2018). 최근에는 언어 모델을 대규모로 확장하면 성능이 크게 향상되고, 새로운 능력이 등장하는 등 많은 놀라움을 가져다주었습니다 Wei et al. (2022); Schaeffer et al. (2023). 따라서 자연어 처리의 패러다임은 미세 조정을 통한 사전 학습에서 상황에 맞는 학습을 통한 사전 학습으로 바뀌고 있습니다. 그러나 현재까지 대규모 언어 모델(LLM)은 수학적 추론과 같은 복잡한 추론 작업에서 여전히 상당한 개선의 여지가 있습니다 Cobbe et al. (2021); Patel et al. (2021), 상식 추론 Talmor et al. (2021); Mihaylov et al. (2018), 등