After pre-training or adaptation tuning, a major approach to using LLMs is to design suitable _prompting_ strategies for solving various tasks. In existing literature, task-specific prompts can be effectively learned through manual creation and automatic optimization. A representative prompting method is _in-context learning_[50, 55], which formulates the task description and/or demonstrations in the form of natural language text. In addition, _chain-of-thought prompting_[33] can be employed to enhance in-context learning by involving a series of intermediate reasoning steps in prompts. Furthermore, _planning_[439] is proposed for solving complex tasks, which first breaks them down into smaller sub-tasks and then generates a plan of action to solve these sub-tasks one by one. We summarize representative work for these prompting approaches in Table XI. Next, we will elaborate on the details of the four techniques.
사전 학습 또는 적응 튜닝 후, LLM을 사용하는 주요 접근 방식은 다양한 작업을 해결하기 위한 적절한 _prompting_ 전략을 설계하는 것입니다. 기존 문헌에서 작업별 prompts는 수동 생성 및 자동 최적화를 통해 효과적으로 학습할 수 있습니다. 대표적인 prompting 방법은 _In-Context Learning_[50, 55]으로, 작업 설명 및/또는 데모를 자연어 텍스트 형식으로 공식화합니다. 또한 _Chain-of-Thought Prompting_[33]을 사용하여 prompts에 일련의 중간 추론 단계를 포함시켜 In-Context Learning을 향상시킬 수 있습니다. 또한 복잡한 작업을 해결하기 위해 _Planning_[439]이 제안되었는데, 이는 먼저 작업을 더 작은 하위 작업으로 분류한 다음 이러한 하위 작업을 하나씩 해결하기 위한 실행 계획을 생성합니다. 이러한 prompting 접근 방식에 대한 대표적인 연구를 표 XI에 정리했습니다. 다음에서는 네 가지 기법에 대한 자세한 내용을 설명하겠습니다.
사전 학습 또는 적응 튜닝 후, LLM을 사용하는 주요 접근 방식은 다양한 작업을 해결하기 위한 적절한 _프롬프트_ 전략을 설계하는 것입니다. 기존 문헌에서 작업별 프롬프트는 수동 생성 및 자동 최적화를 통해 효과적으로 학습할 수 있습니다. 대표적인 프롬프트 방법은 _인컨텍스트 학습_[50, 55]으로, 작업 설명 및/또는 데모를 자연어 텍스트 형식으로 공식화합니다. 또한 _생각의 사슬 프롬프트_[33]를 사용하여 프롬프트에 일련의 중간 추론 단계를 포함시켜 인컨텍스트 학습을 향상시킬 수 있습니다. 또한 복잡한 작업을 해결하기 위해 _계획_[439]이 제안되었는데, 이는 먼저 작업을 더 작은 하위 작업으로 분류한 다음 이러한 하위 작업을 하나씩 해결하기 위한 실행 계획을 생성합니다. 이러한 프롬프트 접근 방식에 대한 대표적인 연구를 표 XI에 정리했습니다. 다음에서는 네 가지 기법에 대한 자세한 내용을 설명하겠습니다.