Recent research has highlighted a "scaling law" in the field of context-based language models (Kaplan et al., 2020; Hernandez et al., 2021; Anil et al., 2023), showing a proportional relationship between the size of the model plus the training data and the resulting performance improvements. Consequently, this has led to the advent of Large Language Models (LLMs). In contrast to earlier models, LLMs can perform in-context learning, which includes abilities such as zero-shot learning (Radford et al., 2019) and few-shot learning (Brown et al., 2020), allowing them to adapt and perform tasks without the need for weight adjustments. These emergent abilities of LLMs, absent in their smaller counterparts, signal a significant evolution in language model capabilities (Wei et al., 2022).
최근 연구에서는 컨텍스트 기반 언어 모델 분야에서 "scaling law"를 강조하여 모델 규모와 학습 데이터의 크기와 성능 개선 사이의 비례 관계를 보여주었습니다(Kaplan et al., 2020; Hernandez et al., 2021; Anil et al., 2023). 그 결과 Large Language Models (LLMs)이 등장하게 되었습니다. 이전 모델과 달리 LLM은 가중치 조정 없이도 작업을 조정하고 수행할 수 있는 zero-shot learning (Radford et al., 2019) 및 few-shot learning (Brown et al., 2020)과 같은 기능을 포함하는 In-Context Learning을 수행할 수 있습니다. 이러한 LLM의 새로운 능력은 소형 모델에는 없는 중요한 진화를 의미합니다(Wei et al., 2022).
최근 연구에서는 컨텍스트 기반 언어 모델 분야에서 "스케일링 법칙"을 강조하여 모델 규모와 학습 데이터의 크기와 성능 개선 사이의 비례 관계를 보여주었습니다(Kaplan et al., 2020; Hernandez et al., 2021; Anil et al., 2023). 그 결과 대규모 언어 모델(LLM)이 등장하게 되었습니다. 이전 모델과 달리 LLM은 가중치 조정 없이도 작업을 조정하고 수행할 수 있는 제로 샷 학습(Radford et al., 2019) 및 소수 샷 학습(Brown et al., 2020)과 같은 기능을 포함하는 인컨텍스트 학습을 수행할 수 있습니다. 이러한 LLM의 새로운 능력은 소형 모델에는 없는 중요한 진화를 의미합니다(Wei et al., 2022).