\(\bullet\)_Task learning._ In the second way, LLMs learn new tasks unseen in the pre-training stage only through demonstrations. Specially, task learning is analyzed mainly from the perspective of gradient descent and considered as implicit fine-tuning [496, 65]. Then, ICL can be explained as follows: by means of forward computation, LLMs generate meta-gradients with respect to demonstrations and implicitly perform gradient descent via the attention mechanism. Experiments also show that certain attention heads in LLMs are capable of performing task-agnostic atomic operations (_e.g.,_ copying and prefix matching), which are closely related to the ICL ability [497]. Furthermore, some studies abstract ICL as an algorithm learning process [498]. For example, the authors in [498] find that LLMs essentially encode implicit models through their parameters during pre-training. With the examples provided in ICL, LLMs can implement learning algorithms such as gradient descent or directly compute the closed-form solution to update these models during forward computation. Under this explanation framework, it has been shown that LLMs can effectively learn simple linear functions and even some complex functions like decision trees with ICL [498].
\(\bullet\)_Task 학습._ 두 번째 방법은 사전 학습 단계에서 보여주기만 통해 보이지 않는 새로운 작업을 학습하는 것입니다. 특히, task 학습은 주로 gradient descent의 관점에서 분석되며 암시적 Fine-tuning으로 간주됩니다[496, 65]. 그런 다음, In-Context Learning (ICL)은 포워드 계산을 통해 LLM이 데모에 대한 메타 그라데이션을 생성하고 attention 메커니즘을 통해 암시적으로 gradient descent를 수행한다는 식으로 설명할 수 있습니다. 실험 결과, LLM의 특정 attention 헤드는 복사 및 접두사 매칭과 같은 작업에 구애받지 않는 원자 연산을 수행할 수 있으며, 이는 ICL 능력과 밀접한 관련이 있습니다[497]. 또한 일부 연구에서는 ICL을 알고리즘 학습 프로세스로 추상화합니다[498]. 예를 들어, [498]의 저자들은 LLM이 사전 학습 중에 매개변수를 통해 암시적 모델을 인코딩한다는 것을 발견했습니다. ICL에 제공된 예제를 통해 LLM은 gradient descent와 같은 학습 알고리즘을 구현하거나 포워드 계산 중에 이러한 모델을 업데이트하기 위해 폐쇄형 솔루션을 직접 계산할 수 있습니다. 이 설명 프레임워크에서 LLM은 ICL을 통해 단순한 선형 함수는 물론 의사 결정 트리와 같은 일부 복잡한 함수도 효과적으로 학습할 수 있는 것으로 나타났습니다[498].
\(\bullet\)_Task 학습._ 두 번째 방법은 사전 학습 단계에서 보여주기만 통해 보이지 않는 새로운 작업을 학습하는 것입니다. 특히, 작업 학습은 주로 경사 하강의 관점에서 분석되며 암시적 미세 조정으로 간주됩니다[496, 65]. 그런 다음, ICL은 포워드 계산을 통해 LLM이 데모에 대한 메타 그라데이션을 생성하고 주의 메커니즘을 통해 암시적으로 그라데이션 하강을 수행한다는 식으로 설명할 수 있습니다. 실험 결과, LLM의 특정 주의 헤드는 복사 및 접두사 매칭과 같은 작업에 구애받지 않는 원자 연산을 수행할 수 있으며, 이는 ICL 능력과 밀접한 관련이 있습니다[497]. 또한 일부 연구에서는 ICL을 알고리즘 학습 프로세스로 추상화합니다[498]. 예를 들어, [498]의 저자들은 LLM이 사전 학습 중에 매개변수를 통해 암시적 모델을 인코딩한다는 것을 발견했습니다. ICL에 제공된 예제를 통해 LLM은 경사 하강과 같은 학습 알고리즘을 구현하거나 포워드 계산 중에 이러한 모델을 업데이트하기 위해 폐쇄형 솔루션을 직접 계산할 수 있습니다. 이 설명 프레임워크에서 LLM은 ICL을 통해 단순한 선형 함수는 물론 의사 결정 트리와 같은 일부 복잡한 함수도 효과적으로 학습할 수 있는 것으로 나타났습니다[498].