\(\bullet\)_GPT-3_. GPT-3 [55] was released in 2020, which scaled the model parameters to an ever larger size of 175B. In the GPT-3's paper, it formally introduced the concept of in-context learning (ICL)17, which utilizes LLMs in a few-shot or zero-shot way. ICL can teach (or instruct) LLMs to understand the tasks in the form of natural language text. With ICL, the pre-training and utilization of LLMs converge to the same language modeling paradigm: pre-training predicts the following text sequence conditioned on the context, while ICL predicts the correct task solution, which can be also formatted as a text sequence, given the task description and demonstrations. GPT-3 not only demonstrates very excellent performance in a variety of NLP tasks, but also on a number of specially designed tasks that require the abilities of reasoning or domain adaptation. Although the GPT-3's paper does not explicitly discuss the emergent abilities of LLMs, we can observe large performance leap that might transcend the basic scaling law [30], _e.g.,_ larger models have significantly stronger ICL ability (illustrated in the original Figure 1.2 of the GPT-3's paper [55]). Overall, GPT-3 can be viewed as a remarkable landmark in the journey evolving from PLMs to LLMs. It has empirically proved that scaling the neural networks to a significant size can lead to a huge increase in model capacity.
\(\bullet\)_GPT-3_. GPT-3 [55]는 2020년에 출시되었으며, 모델 파라미터를 175B의 더 큰 규모로 확장했습니다. GPT-3의 논문에서는 몇 번의 샷 또는 제로 샷 방식으로 LLM을 활용하는 In-Context Learning (ICL)17의 개념을 공식적으로 소개했습니다. ICL은 자연어 텍스트 형태로 LLM이 작업을 이해하도록 가르치거나 지시할 수 있습니다. ICL을 통해 사전 학습과 LLM의 활용은 동일한 언어 모델링 패러다임으로 수렴됩니다. 즉, 사전 학습은 문맥에 따라 다음 텍스트 시퀀스를 예측하는 반면, ICL은 작업 설명과 데모가 주어지면 텍스트 시퀀스로 포맷할 수 있는 올바른 작업 솔루션을 예측합니다. GPT-3는 다양한 NLP 작업뿐만 아니라 추론이나 도메인 적응 능력이 필요한 여러 가지 특수 설계된 작업에서도 매우 뛰어난 성능을 보여줍니다. GPT-3의 논문에서는 LLM의 새로운 능력에 대해 명시적으로 논의하지 않았지만, 더 큰 모델이 훨씬 더 강력한 ICL 능력을 가지고 있다는 점(GPT-3 논문 [55]의 원래 그림 1.2에 설명됨)에서 기본적인 Scaling laws [30]을 넘어서는 큰 성능의 도약을 관찰할 수 있습니다. 전반적으로 GPT-3는 PLM에서 LLM으로 진화하는 여정에서 주목할 만한 이정표라고 볼 수 있습니다. 신경망을 상당한 규모로 확장하면 모델 용량이 크게 증가할 수 있다는 것을 경험적으로 증명했습니다.
\(\bullet\)_GPT-3_. GPT-3 [55]는 2020년에 출시되었으며, 모델 파라미터를 175B의 더 큰 규모로 확장했습니다. GPT-3의 논문에서는 몇 번의 샷 또는 제로 샷 방식으로 LLM을 활용하는 컨텍스트 내 학습(ICL)17의 개념을 공식적으로 소개했습니다. ICL은 자연어 텍스트 형태로 LLM이 작업을 이해하도록 가르치거나 지시할 수 있습니다. ICL을 통해 사전 학습과 LLM의 활용은 동일한 언어 모델링 패러다임으로 수렴됩니다. 즉, 사전 학습은 문맥에 따라 다음 텍스트 시퀀스를 예측하는 반면, ICL은 작업 설명과 데모가 주어지면 텍스트 시퀀스로 포맷할 수 있는 올바른 작업 솔루션을 예측합니다. GPT-3는 다양한 NLP 작업뿐만 아니라 추론이나 도메인 적응 능력이 필요한 여러 가지 특수 설계된 작업에서도 매우 뛰어난 성능을 보여줍니다. GPT-3의 논문에서는 LLM의 새로운 능력에 대해 명시적으로 논의하지 않았지만, 더 큰 모델이 훨씬 더 강력한 ICL 능력을 가지고 있다는 점(GPT-3 논문 [55]의 원래 그림 1.2에 설명됨)에서 기본적인 스케일링 법칙 [30]을 넘어서는 큰 성능의 도약을 관찰할 수 있습니다. 전반적으로 GPT-3는 PLM에서 LLM으로 진화하는 여정에서 주목할 만한 이정표라고 볼 수 있습니다. 신경망을 상당한 규모로 확장하면 모델 용량이 크게 증가할 수 있다는 것을 경험적으로 증명했습니다.