\(\bullet\)_In-context learning_. The in-context learning (ICL) ability is formally introduced by GPT-3 [55]: assuming that the language model has been provided with a natural language instruction and/or several task demonstrations, it can generate the expected output for the test instances by completing the word sequence of input text, without requiring additional training or gradient update9. Among the GPT-series models, the 175B GPT-3 model exhibited a strong ICL ability in general, but not the GPT-1 and GPT-2 models. Such an ability also depends on the specific downstream task. For example, the ICL ability can emerge on the arithmetic tasks (_e.g._, the 3-digit addition and subtraction) for the 13B GPT-3, but 175B GPT-3 even cannot work well on the Persian QA task [31].
• _In-context learning_. In-context learning (ICL) 능력은 GPT-3 [55]에 의해 공식적으로 도입되었습니다: 언어 모델이 자연어 지시문 및/또는 여러 작업 시연을 제공받았다고 가정할 때, 추가적인 훈련이나 기울기 업데이트 없이 입력 텍스트의 단어 시퀀스를 완성하여 테스트 인스턴스에 대한 예상 출력을 생성할 수 있습니다. GPT 시리즈 모델 중에서 175B GPT-3 모델은 일반적으로 강력한 ICL 능력을 보였지만, GPT-1 및 GPT-2 모델은 그렇지 않았습니다. 이러한 능력은 특정 다운스트림 작업에 따라 달라지기도 합니다. 예를 들어, 13B GPT-3는 산술 작업(예: 3자리 수의 덧셈 및 뺄셈)에서 ICL 능력이 나타날 수 있지만, 175B GPT-3는 페르시아어 QA 작업에서는 잘 작동하지 않을 수 있습니다 [31].
\(\bullet\)_컨텍스트 내 학습_. 문맥 내 학습(ICL) 기능은 GPT-3[55]에서 공식적으로 소개한 것으로, 언어 모델에 자연어 명령어 및/또는 여러 작업 데모가 제공된다고 가정할 때 추가 학습이나 그라디언트 업데이트 없이도 입력 텍스트의 단어 시퀀스를 완성하여 테스트 인스턴스에 대해 예상되는 출력을 생성할 수 있습니다. GPT 시리즈 모델 중 175B GPT-3 모델은 일반적으로 강력한 ICL 기능을 보여주었지만 GPT-1 및 GPT-2 모델은 그렇지 않았습니다. 이러한 능력은 특정 다운스트림 작업에 따라 달라집니다. 예를 들어, 산술 작업(예: 3자리 덧셈 및 뺄셈)의 경우 13B GPT-3에서 ICL 기능이 나타날 수 있지만, 페르시아어 QA 작업[31]의 경우 175B GPT-3조차 제대로 작동하지 못합니다.