A comprehensive review of ICL has been presented in the survey paper [50], and we suggest the readers referring to it for a more general, detailed discussion on this topic. Compared with this survey, we specially focus on the discussion of applying ICL to LLMs in two major aspects, _i.e.,_ demonstration design and the underlying mechanism of ICL. Also, ICL has a close connection with instruction tuning (discussed in Section 5.1) in that both utilize natural language to format the task or instances. However, instruction tuning needs to fine-tune LLMs for adaptation, while ICL only prompts LLMs for utilization. Furthermore, instruction tuning can enhance the ICL ability of LLMs to perform target tasks, especially in the zero-shot setting (only using task descriptions) [69].
ICL에 대한 포괄적인 검토는 설문조사 논문 [50]에 제시되어 있으며, 이 주제에 대한 보다 일반적이고 자세한 논의는 독자들이 이 논문을 참조할 것을 제안합니다. 이 설문조사와 비교하여, 우리는 ICL을 LLMs에 적용하는 논의에 두 가지 주요 측면, 즉 데모 설계와 ICL의 기본 메커니즘에 특별히 초점을 맞추고 있습니다. 또한 ICL은 자연어를 사용하여 작업 또는 인스턴스의 형식을 지정한다는 점에서 Instruction Tuning(섹션 5.1에서 논의)과 밀접한 관련이 있습니다. 그러나 Instruction Tuning은 적응을 위해 LLMs을 Fine-tuning해야 하는 반면, ICL은 활용을 위해 LLMs에 프롬프트만 제공하면 됩니다. 또한 Instruction Tuning은 특히 zero-shot 설정(작업 설명만 사용) [69]에서 LLMs의 ICL 기능을 향상시켜 목표 작업을 수행할 수 있습니다.
ICL에 대한 포괄적인 검토는 설문조사 논문 [50]에 제시되어 있으며, 이 주제에 대한 보다 일반적이고 자세한 논의는 독자들이 이 논문을 참조할 것을 제안합니다. 이 설문조사와 비교하여, 우리는 ICL을 LLM에 적용하는 논의에 두 가지 주요 측면, 즉 데모 설계와 ICL의 기본 메커니즘에 특별히 초점을 맞추고 있습니다. 또한 ICL은 자연어를 사용하여 작업 또는 인스턴스의 형식을 지정한다는 점에서 지시 튜닝(섹션 5.1에서 논의)과 밀접한 관련이 있습니다. 그러나 지시 튜닝은 적응을 위해 LLM을 미세 조정해야 하는 반면, ICL은 활용을 위해 LLM에 프롬프트만 제공하면 됩니다. 또한 지시 튜닝은 특히 제로 샷 설정(작업 설명만 사용) [69]에서 LLM의 ICL 기능을 향상시켜 목표 작업을 수행할 수 있습니다.