(_i.e._, following the scaling law [30]). A number of studies have explored the performance limit by training an ever larger PLM (_e.g.,_ the 175B-parameter GPT-3 and the 540B-parameter PaLM). Although scaling is mainly conducted in model size (with similar architectures and pre-training tasks), these large-sized PLMs display different behaviors from smaller PLMs (_e.g.,_ 330M-parameter BERT and 1.5B-parameter GPT-2) and show surprising abilities (called _emergent abilities_[31]) in solving a series of complex tasks. For example, GPT-3 can solve few-shot tasks through _in-context learning_, whereas GPT-2 cannot do well. Thus, the research community coins the term _"large language models (LLM)"1_ for these large-sized PLMs [32, 33, 34, 35], which attract increasing research attention (See Figure 1). A remarkable application of LLMs is _ChatGPT2_ that adapts the LLMs from the GPT series for dialogue, which presents an amazing conversation ability with humans. We can observe a sharp increase of the arXiv papers that are related to LLMs after the release of ChatGPT in Figure 1.
(_즉, following the scaling law [30]). 많은 연구에서 더 큰 PLM을 훈련하여 성능 한계를 탐구했습니다(_예: 175B-parameter GPT-3 및 540B-parameter PaLM). Scaling은 주로 모델 크기에서 수행되지만(유사한 아키텍처 및 pre-training tasks), 이러한 대규모 PLM은 소규모 PLM(_예: 330M-parameter BERT 및 1.5B-parameter GPT-2)과 다른 동작을 보이며 일련의 복잡한 작업을 해결하는 데 놀라운 능력(_emergent abilities_[31])을 보여줍니다. 예를 들어, GPT-3는 _In-Context Learning_을 통해 few-shot tasks를 해결할 수 있는 반면, GPT-2는 그렇게 잘 수행하지 못합니다. 따라서 연구 커뮤니티에서는 이러한 대규모 PLM에 대해 _"Large Language Models (LLM)"1_이라는 용어를 사용합니다[32, 33, 34, 35], 이 용어는 점점 더 많은 연구 관심을 끌고 있습니다(그림 1 참조). LLM의 주목할 만한 응용 분야는 대화에 GPT 시리즈의 LLM을 적용한 _ChatGPT2_로, 인간과 놀라운 대화 능력을 선보입니다. 그림 1에서 ChatGPT 출시 이후 LLM과 관련된 arXiv 논문이 급격히 증가하는 것을 관찰할 수 있습니다.
(_즉, 스케일링 법칙 [30]에 따라). 많은 연구에서 더 큰 PLM을 훈련하여 성능 한계를 탐구했습니다(_예: 175B 파라미터 GPT-3 및 540B 파라미터 PaLM). 스케일링은 주로 모델 크기에서 수행되지만(유사한 아키텍처 및 사전 학습 작업), 이러한 대규모 PLM은 소규모 PLM(_예: 330M 파라미터 BERT 및 1.5B 파라미터 GPT-2)과 다른 동작을 보이며 일련의 복잡한 작업을 해결하는 데 놀라운 능력(_예: _이머전 능력_[31])을 보여줍니다. 예를 들어, GPT-3는 _컨텍스트 내 학습_을 통해 소수의 샷 작업을 해결할 수 있는 반면, GPT-2는 그렇게 잘 수행하지 못합니다. 따라서 연구 커뮤니티에서는 이러한 대규모 PLM에 대해 _"대규모 언어 모델(LLM)"1_이라는 용어를 사용합니다[32, 33, 34, 35], 이 용어는 점점 더 많은 연구 관심을 끌고 있습니다(그림 1 참조). LLM의 주목할 만한 응용 분야는 대화에 GPT 시리즈의 LLM을 적용한 _ChatGPT2_로, 인간과 놀라운 대화 능력을 선보입니다. 그림 1에서 ChatGPT 출시 이후 LLM과 관련된 arXiv 논문이 급격히 증가하는 것을 관찰할 수 있습니다.