**Demonstration Format.** After selecting task examples, the next step is to integrate and format them into a natural language prompt for LLMs. A straightforward method is to instantiate a pre-defined template with the corresponding input-output pairs [36]. To construct more informative templates, recent studies consider adding task descriptions [69] or enhancing the reasoning capability of LLMs with chain-of-thought prompts [33]. For instance, in [166], the authors collect a large-scale dataset with task descriptions written by humans. After tuning with this dataset, the performance on seen tasks can be boosted, and LLMs can also generalize to unseen tasks to some extent. To reduce the annotation costs, a semi-automated approach has been proposed in [143] by employing a seed set consisting of human-written task descriptions to guide LLMs to generate task descriptions for new tasks. Since it is costly to manually annotate demonstration formats for different tasks, some work also studies how to automatically generate high-quality ones. As two representative methods, Auto-CoT [434] leverages LLMs with the zero-shot prompt _"Let's think step by step"_ for generating intermediate reasoning steps, while least-tomost prompting [439] first queries LLMs to perform problem decomposition and then utilizes LLMs to sequentially solve sub-problems based on the intermediate answers to previously solved ones.
**Demonstration Format.** 작업 예제를 선택한 후 다음 단계는 이를 LLM용 자연어 prompt에 통합하고 형식을 지정하는 것입니다. 간단한 방법은 사전 정의된 template을 해당 input-output 쌍 [36]으로 인스턴스화하는 것입니다. 보다 유익한 template을 구성하기 위해 최근 연구에서는 작업 설명 [69]을 추가하거나 chain-of-thought prompts [33]를 통해 LLM의 추론 기능을 향상시키는 것을 고려합니다. 예를 들어, [166]에서 저자들은 사람이 작성한 작업 설명이 포함된 대규모 데이터 세트를 수집했습니다. 이 데이터 세트로 tuning한 후, 볼 수 있는 작업의 성능을 높일 수 있으며, LLM은 또한 보이지 않는 작업에도 어느 정도 일반화할 수 있습니다. 주석 비용을 줄이기 위해 [143]에서는 사람이 작성한 작업 설명으로 구성된 시드 세트를 사용하여 LLM이 새로운 작업에 대한 작업 설명을 생성하도록 안내하는 반자동 접근 방식을 제안했습니다. 다양한 작업에 대한 demonstration formats을 수동으로 주석을 달는 데는 많은 비용이 들기 때문에 고품질의 demonstration formats을 자동으로 생성하는 방법도 연구되고 있습니다. 대표적인 두 가지 방법으로, Auto-CoT [434]는 중간 추론 단계를 생성하기 위해 LLM에 zero-shot prompt _"Let's think step by step"_를 사용하며, least-to-most prompting [439]는 먼저 LLM에 문제 분해를 수행하도록 쿼리한 다음, 이전에 풀었던 문제에 대한 중간 답변을 기반으로 하여 LLM을 사용하여 하위 문제를 순차적으로 푸는 방식입니다.
**데모 형식**. 작업 예제를 선택한 후 다음 단계는 이를 LLM용 자연어 프롬프트에 통합하고 형식을 지정하는 것입니다. 간단한 방법은 사전 정의된 템플릿을 해당 입력-출력 쌍 [36]으로 인스턴스화하는 것입니다. 보다 유익한 템플릿을 구성하기 위해 최근 연구에서는 작업 설명 [69]을 추가하거나 생각의 사슬 프롬프트 [33]를 통해 LLM의 추론 기능을 향상시키는 것을 고려합니다. 예를 들어, [166]에서 저자들은 사람이 작성한 작업 설명이 포함된 대규모 데이터 세트를 수집했습니다. 이 데이터 세트로 튜닝한 후, 볼 수 있는 작업의 성능을 높일 수 있으며, LLM은 또한 보이지 않는 작업에도 어느 정도 일반화할 수 있습니다. 주석 비용을 줄이기 위해 [143]에서는 사람이 작성한 작업 설명으로 구성된 시드 세트를 사용하여 LLM이 새로운 작업에 대한 작업 설명을 생성하도록 안내하는 반자동 접근 방식을 제안했습니다. 다양한 작업에 대한 데모 형식을 수동으로 주석을 달는 데는 많은 비용이 들기 때문에 고품질의 데모 형식을 자동으로 생성하는 방법도 연구되고 있습니다. 대표적인 두 가지 방법으로, Auto-CoT [434]는 중간 추론 단계를 생성하기 위해 LLM에 제로 샷 프롬프트 _"차근차근 생각해 봅시다"_를 사용하며, 최소-최대 프롬프트 [439]는 먼저 LLM에 문제 분해를 수행하도록 쿼리한 다음, 이전에 풀었던 문제에 대한 중간 답변을 기반으로 하여 LLM을 사용하여 하위 문제를 순차적으로 푸는 방식입니다.