As stated in [55], ICL uses a formatted natural language prompt, consisting of the task description and/or a few task examples as demonstrations. Figure 14 presents an illustration of ICL. First, starting with a task description, a few examples are selected from the task dataset as demonstrations. Then, they are combined in a specific order to form natural language prompts with specially designed templates. Finally, the test instance is appended to the demonstration as the input for LLMs to generate the output. Based on task demonstrations, LLMs can recognize and perform a new task without explicit gradient update.
[55]에 명시된 바와 같이, In-Context Learning (ICL)은 작업 설명 및/또는 몇 가지 작업 예제를 데모로 구성된 형식화된 자연어 프롬프트를 사용합니다. 그림 14는 ICL의 예시를 보여줍니다. 먼저 작업 설명부터 시작하여 작업 데이터 세트에서 몇 가지 예제를 데모로 선택합니다. 그런 다음 특별히 설계된 템플릿을 사용하여 자연어 프롬프트를 형성하기 위해 특정 순서로 결합합니다. 마지막으로 테스트 인스턴스를 데모에 추가하여 Large Language Models (LLMs)이 출력을 생성할 수 있도록 입력합니다. 작업 데모를 기반으로 LLMs은 명시적인 그라디언트 업데이트 없이도 새로운 작업을 인식하고 수행할 수 있습니다.
[55]에 명시된 바와 같이, ICL은 작업 설명 및/또는 몇 가지 작업 예제를 데모로 구성된 형식화된 자연어 프롬프트를 사용합니다. 그림 14는 ICL의 예시를 보여줍니다. 먼저 작업 설명부터 시작하여 작업 데이터 세트에서 몇 가지 예제를 데모로 선택합니다. 그런 다음 특별히 설계된 템플릿을 사용하여 자연어 프롬프트를 형성하기 위해 특정 순서로 결합합니다. 마지막으로 테스트 인스턴스를 데모에 추가하여 LLM이 출력을 생성할 수 있도록 입력합니다. 작업 데모를 기반으로 LLM은 명시적인 그라디언트 업데이트 없이도 새로운 작업을 인식하고 수행할 수 있습니다.