As discussed in a recent study [493], LLMs exhibit the abilities of both task recognition and task learning in ICL, but the two abilities seem to be possessed with different model scales. As shown in the experiments [493], the ability of task recognition is easier to obtain, and even a small LM with only 350M parameters can exhibit this ability, while task learning can only emerge for LLMs with at least 66B parameters. Another study [499] also supports this finding with specially designed experiments. They set up the tasks with flipped and semantically unrelated labels in the experiment, which require task learning when performing ICL. The results suggest that small LMs tend to disregard the labels and mainly depend on their prior knowledge to accomplish the task, while LLMs have the ability to surpass their prior knowledge and acquire new knowledge from demonstrations, resulting in better outcomes. Furthermore, to improve the task learning ability, Meta-In-Context Learning [500] proposes to include multiple related tasks instead of just a single one in the prompt. In addition, Symbol Tuning [501] fine-tunes LLMs on demonstrations with semantically unrelated labels (_e.g.,_ foo/bar instead of positive/negative for sentiment analysis), forcing LLMs to learn the task from demonstrations instead of relying on prior knowledge.
최근 연구[493]에서 논의한 바와 같이, LLM은 In-Context Learning에서 작업 인식과 작업 학습의 두 가지 능력을 모두 보여주지만, 이 두 가지 능력은 서로 다른 모델 규모를 가지고 있는 것으로 보입니다. 실험[493]에서 볼 수 있듯이 작업 인식 능력은 획득하기가 더 쉽고, 3억 5천만 개의 파라미터만 있는 작은 LM도 이 능력을 발휘할 수 있는 반면, 작업 학습은 최소 660억 개 이상의 파라미터를 가진 LLM에서만 나타날 수 있습니다. 또 다른 연구[499]에서도 특별히 설계된 실험을 통해 이러한 결과를 뒷받침합니다. 이 연구에서는 In-Context Learning을 수행할 때 작업 학습이 필요한 뒤집힌 레이블과 의미적으로 관련이 없는 레이블로 태스크를 설정했습니다. 그 결과, 소규모 LM은 레이블을 무시하고 주로 사전 지식에 의존하여 작업을 수행하는 경향이 있는 반면, LLM은 사전 지식을 뛰어넘어 데모에서 새로운 지식을 습득하여 더 나은 결과를 얻을 수 있는 능력을 가지고 있는 것으로 나타났습니다. 또한, 작업 학습 능력을 향상시키기 위해 Meta-In-Context Learning[500]은 프롬프트에 단일 작업이 아닌 여러 관련 작업을 포함하도록 제안합니다. 또한 Symbol Tuning[501]은 의미적으로 관련이 없는 레이블(예: 감성 분석의 경우 긍정/부정 대신 foo/bar)로 데모에 대한 LLM을 Fine-tuning하여 LLM이 사전 지식에 의존하지 않고 데모에서 작업을 학습하도록 강제합니다.
최근 연구[493]에서 논의한 바와 같이, LLM은 ICL에서 작업 인식과 작업 학습의 두 가지 능력을 모두 보여주지만, 이 두 가지 능력은 서로 다른 모델 규모를 가지고 있는 것으로 보입니다. 실험[493]에서 볼 수 있듯이 작업 인식 능력은 획득하기가 더 쉽고, 3억 5천만 개의 파라미터만 있는 작은 LM도 이 능력을 발휘할 수 있는 반면, 작업 학습은 최소 660억 개 이상의 파라미터를 가진 LLM에서만 나타날 수 있습니다. 또 다른 연구[499]에서도 특별히 설계된 실험을 통해 이러한 결과를 뒷받침합니다. 이 연구에서는 ICL을 수행할 때 작업 학습이 필요한 뒤집힌 레이블과 의미적으로 관련이 없는 레이블로 태스크를 설정했습니다. 그 결과, 소규모 LM은 레이블을 무시하고 주로 사전 지식에 의존하여 작업을 수행하는 경향이 있는 반면, LLM은 사전 지식을 뛰어넘어 데모에서 새로운 지식을 습득하여 더 나은 결과를 얻을 수 있는 능력을 가지고 있는 것으로 나타났습니다. 또한, 작업 학습 능력을 향상시키기 위해 메타 인 컨텍스트 학습[500]은 프롬프트에 단일 작업이 아닌 여러 관련 작업을 포함하도록 제안합니다. 또한 심볼 튜닝[501]은 의미적으로 관련이 없는 레이블(예: 감성 분석의 경우 긍정/부정 대신 foo/bar)로 데모에 대한 LLM을 미세 조정하여 LLM이 사전 지식에 의존하지 않고 데모에서 작업을 학습하도록 강제합니다.