GPT-3 [56] is a pre-trained autoregressive language model with 175 billion parameters. GPT-3 is widely considered as the first LLM in that it not only is much larger than previous PLMs, but also for the first time demonstrates emergent abilities that are not observed in previous smaller PLMs. GPT-3 shows the emergent ability of in-context learning, which means GPT-3 can be applied to any downstream tasks without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieved strong performance on many NLP tasks, including translation, question-answering, and the cloze tasks, as well as several ones that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, 3-digit arithmetic. Fig 9 plots the performance of GPT-3 as a function of the number of examples in in-context prompts.
GPT-3 [56]는 1,750억 개의 파라미터를 가진 사전 학습된 자동 회귀 언어 모델입니다. GPT-3는 이전 PLM보다 훨씬 규모가 크다는 점과 더불어 이전의 작은 PLM에서는 관찰되지 않았던 새로운 능력을 처음으로 보여주었다는 점에서 최초의 LLM으로 널리 간주됩니다. GPT-3는 In-Context Learning이라는 새로운 능력을 보여주는데, 이는 경사도 업데이트나 Fine-tuning 없이도 GPT-3를 모든 다운스트림 작업에 적용할 수 있으며, 작업과 몇 가지 데모는 모델과의 텍스트 상호 작용을 통해 순전히 지정할 수 있다는 것을 의미합니다. GPT-3는 번역, 질문-답변, 클로즈 테스크뿐만 아니라 단어 스크램블링, 문장에서 새로운 단어 사용, 3자리 산술과 같이 즉석 추론이나 도메인 적응이 필요한 여러 NLP 작업에서 강력한 성능을 발휘했습니다. 그림 9는 문맥 프롬프트에서 예제 수에 따른 GPT-3의 성능을 그래프로 표시한 것입니다.
GPT-3 [56]는 1,750억 개의 파라미터를 가진 사전 학습된 자동 회귀 언어 모델입니다. GPT-3는 이전 PLM보다 훨씬 규모가 크다는 점과 더불어 이전의 작은 PLM에서는 관찰되지 않았던 새로운 능력을 처음으로 보여주었다는 점에서 최초의 LLM으로 널리 간주됩니다. GPT-3는 문맥 학습이라는 새로운 능력을 보여주는데, 이는 경사도 업데이트나 미세 조정 없이도 GPT-3를 모든 다운스트림 작업에 적용할 수 있으며, 작업과 몇 가지 데모는 모델과의 텍스트 상호 작용을 통해 순전히 지정할 수 있다는 것을 의미합니다. GPT-3는 번역, 질문-답변, 클로즈 테스크뿐만 아니라 단어 스크램블링, 문장에서 새로운 단어 사용, 3자리 산술과 같이 즉석 추론이나 도메인 적응이 필요한 여러 NLP 작업에서 강력한 성능을 발휘했습니다. 그림 9는 문맥 프롬프트에서 예제 수에 따른 GPT-3의 성능을 그래프로 표시한 것입니다.