**How Pre-Training Affects ICL?** ICL is first proposed in GPT-3 [55], and it has been shown that the ICL ability becomes more significant with a larger model size. Further, some studies reveal that small-scale PLMs can also demonstrate a strong ICL ability by continual pre-training [490] or fine-tuning [491] on specially designed training tasks, which typically involve additional task examples in the input during the training process. It suggests that the design of training tasks is an important influence factor on the ICL capability of LLMs. Besides training tasks, recent studies have also investigated the relationship between ICL and pre-training corpora [488, 492]. For example, ICL can be theoretically explained as the product of pre-training on documents that exhibit long-range coherence [488]. Further, another study [492] theoretically analyzes that when scaling parameters and data, LLMs based on next-word prediction can emerge the ability of ICL by learning from the compositional structure (_e.g._, how words and phrases are combined to form larger linguistic units like sentences) present in language data.
**사전 학습이 In-Context Learning(ICL)에 미치는 영향?** ICL은 GPT-3 [55]에서 처음 제안되었으며, 모델 크기가 클수록 ICL 능력이 더 중요해지는 것으로 나타났습니다. 또한 일부 연구에 따르면 소규모 PLM도 특별히 설계된 훈련 작업 [490] 또는 훈련 과정에서 추가 작업 예제가 포함된 훈련 작업 [491]을 통해 지속적인 사전 훈련을 통해 강력한 ICL 능력을 보여줄 수 있는 것으로 나타났습니다. 이는 훈련 작업의 설계가 LLM의 ICL 기능에 중요한 영향 요인임을 시사합니다. 훈련 작업 외에도 최근 연구에서는 ICL과 사전 훈련 코퍼라 [488, 492] 간의 관계도 조사했습니다. 예를 들어, ICL은 장거리 일관성을 나타내는 문서에 대한 사전 훈련의 산물로 이론적으로 설명할 수 있습니다[488]. 또 다른 연구 [492]는 매개변수와 데이터를 확장할 때 다음 단어 예측을 기반으로 하는 LLM이 언어 데이터에 존재하는 구성 구조(예: 단어와 구가 어떻게 결합되어 문장과 같은 더 큰 언어 단위를 형성하는지)를 학습하여 ICL의 능력을 발휘할 수 있다고 이론적으로 분석했습니다.
**사전 학습이 ICL에 미치는 영향?** ICL은 GPT-3 [55]에서 처음 제안되었으며, 모델 크기가 클수록 ICL 능력이 더 중요해지는 것으로 나타났습니다. 또한 일부 연구에 따르면 소규모 PLM도 특별히 설계된 훈련 작업 [490] 또는 훈련 과정에서 추가 작업 예제가 포함된 훈련 작업 [491]을 통해 지속적인 사전 훈련을 통해 강력한 ICL 능력을 보여줄 수 있는 것으로 나타났습니다. 이는 훈련 작업의 설계가 LLM의 ICL 기능에 중요한 영향 요인임을 시사합니다. 훈련 작업 외에도 최근 연구에서는 ICL과 사전 훈련 코퍼라 [488, 492] 간의 관계도 조사했습니다. 예를 들어, ICL은 장거리 일관성을 나타내는 문서에 대한 사전 훈련의 산물로 이론적으로 설명할 수 있습니다[488]. 또 다른 연구 [492]는 매개변수와 데이터를 확장할 때 다음 단어 예측을 기반으로 하는 LLM이 언어 데이터에 존재하는 구성 구조(예: 단어와 구가 어떻게 결합되어 문장과 같은 더 큰 언어 단위를 형성하는지)를 학습하여 ICL의 능력을 발휘할 수 있다고 이론적으로 분석했습니다.