Summarize this introduction section:

The combination of scale and attention-based architectures has resulted in language models possessing
an unprecedented level of generality (Kaplan et al., 2020; Vaswani et al., 2017). These so-called
“large language models” (LLMs) have shown remarkable, often superhuman, capabilities across a
diverse range of tasks, including both zero-shot and few-shot setups (Brown et al., 2020; Srivastava
et al., 2022). With generality, however, there comes a question of control: how can we make LLMs
do what we want them to do?
To answer this question and steer LLMs toward desired behaviors, recent work has considered
fine-tuning (Ouyang et al., 2022; Ziegler et al., 2019), in-context learning (Brown et al., 2020), and
several forms of prompt generation (Gao, 2021), including both differentiable tuning of soft prompts
(Qin & Eisner, 2021; Lester et al., 2021) and natural language prompt engineering (Reynolds &
McDonell, 2021). The latter is of particular interest, as it provides a natural interface for humans to
communicate with machines and may be of great relevance not only to LLMs but to other generalist
models such as prompted image synthesizers (Rombach et al., 2022; Ramesh et al., 2022), for which
public interest in prompt design and generation has also emerged (see Appendix A for examples).
Behind this interest is the fact that plain language prompts do not always produce the desired results,
even when those results are possible to produce with alternative instructions. Thus, human users must
experiment with a wide range of prompts to elicit desired behaviors, as they have little knowledge of
how compatible instructions are with a particular model. We can understand this by viewing LLMs
as black-box computers that execute programs specified by natural language instructions: while they can execute a broad range of natural language programs, the way these programs are processed may
not be intuitive for humans, and the quality of instruction can only be measured when executing these
instructions on a downstream task (Sanh et al., 2022; Wei et al., 2021).
To reduce the human effort involved in creating and validating effective instructions, we propose a
novel algorithm using LLMs to generate and select instructions automatically. We call this problem
natural language program synthesis and propose to address it as a black-box optimization problem
using LLMs to generate and search over heuristically viable candidate solutions. In doing so, we
leverage the generalist capabilities of LLMs in three ways. First, we use an LLM as an inference
model (Ellis et al., 2021; Honovich et al., 2022) to generate instruction candidates based on a small set
of demonstrations in the form of input-output pairs. Next, we guide the search process by computing
a score for each instruction under the LLM we seek to control. Finally, we propose an iterative Monte
Carlo search method where LLMs improve the best candidates by proposing semantically similar
instruction variants. Intuitively, our algorithm asks LLMs to generate a set of instruction candidates
based on demonstrations and then asks them to assess which instructions are more promising. We
call our algorithm Automatic Prompt Engineer (APE). Our main contributions are:
• We frame instruction generation as natural language program synthesis, formulate it as a
black-box optimization problem guided by LLMs, and propose both a naive and an iterative
Monte Carlo search methods to approximate the solution.
• Our proposed method, APE, achieves human-level performance on zero-shot learning with
model-generated instructions on 24/24 Instruction Induction and 17/21 Big-Bench tasks.
• We provide extensive qualitative and quantitative analyses exploring various facets of
APE, and demonstrate applications of APE for improving few-shot learning, finding better
zero-shot chain of thought prompts, and steering LLMs toward desired behaviors such as
truthfulness and/or informativeness.
이 소개 섹션을 요약합니다:규모와 주의 기반 아키텍처의 결합으로 언어 모델은 전례 없는 수준의전례 없는 수준의 일반성을 갖게 되었습니다(Kaplan 외., 2020; Vaswani 외., 2017). 이러한 소위"대규모 언어 모델"(LLM)은 다양한 작업에서 놀랍고 종종 초인적인 능력을 보여주었습니다.제로 샷 및 소수 샷 설정을 포함한 다양한 작업에서 놀라운, 때로는 초인적인 능력을 보여주었습니다(Brown et al., 2020; Srivastavaet al., 2022). 그러나 일반성과 함께 제어에 대한 질문이 제기됩니다.우리가 원하는 것을 하도록 만들 수 있을까요?이 질문에 답하고 LLM을 원하는 행동으로 유도하기 위해 최근 연구에서는 다음과 같은 방법을 고려했습니다.미세 조정(Ouyang 외., 2022; Ziegler 외., 2019), 상황 내 학습(Brown 외., 2020), 그리고소프트 프롬프트의 차별화 가능한 튜닝을 포함한 여러 형태의 프롬프트 생성 (Gao, 2021)(Qin & Eisner, 2021; Lester et al., 2021) 및 자연어 프롬프트 엔지니어링 (Reynolds &McDonell, 2021). 후자는 인간이 기계와 소통할 수 있는 자연스러운 인터페이스를 제공하기 때문에 특히 흥미롭습니다.기계와 소통할 수 있는 자연스러운 인터페이스를 제공하기 때문에 특히 흥미롭습니다.프롬프트 이미지 합성기와 같은 모델(Rombach 외., 2022; Ramesh 외., 2022), 그 이유는 다음과 같습니다.프롬프트 설계 및 생성에 대한 대중의 관심도 높아졌습니다(예는 부록 A 참조).이러한 관심의 이면에는 일반 언어 프롬프트가 항상 원하는 결과를 도출하는 것은 아니라는 사실이 있습니다,대체 지시를 통해 원하는 결과를 얻을 수 있는 경우에도 마찬가지입니다. 따라서 인간 사용자는원하는 행동을 유도하기 위해 다양한 프롬프트를 실험해야 합니다.지식이 거의 없기 때문입니다. LLM을 블랙박스 컴퓨터로 생각하면 이를 이해할 수 있습니다.을 자연어 명령어로 지정된 프로그램을 실행하는 블랙박스 컴퓨터로 보면 이해할 수 있습니다. 광범위한 자연어 프로그램을 실행할 수 있지만 이러한 프로그램이 처리되는 방식은인간에게는 직관적이지 않을 수 있으며, 명령의 품질은 이러한 명령어를 실행할 때만 측정할 수 있습니다.명령어를 실행할 때만 그 품질을 측정할 수 있습니다(Sanh et al., 2022; Wei et al., 2021).효과적인 명령어를 생성하고 검증하는 데 수반되는 인적 노력을 줄이기 위해 다음과 같은 새로운 알고리즘을 제안합니다.LLM을 사용하여 명령어를 자동으로 생성하고 선택하는 새로운 알고리즘을 제안합니다. 우리는 이 문제를자연어 프로그램 합성이라고 부르며 이를 블랙박스 최적화 문제로 해결할 것을 제안합니다.LLM을 사용하여 휴리스틱적으로 실행 가능한 후보 솔루션을 생성하고 검색합니다. 이를 통해 다음과 같은 이점을 얻을 수 있습니다.LLM의 제너럴리스트 기능을 세 가지 방식으로 활용합니다. 첫째, LLM을 추론 모델로 사용합니다.모델(Ellis 외., 2021; Honovich 외., 2022)을 사용하여 작은 집합을 기반으로 인스트럭션 후보를 생성합니다.입력-출력 쌍 형태의 데모를 생성합니다. 그런 다음, 다음 계산을 통해 검색 프로세스를 안내합니다.를 계산하여 검색 프로세스를 안내합니다. 마지막으로, 반복적인 몬테반복 몬테카를로 검색 방법을 제안합니다. LLM이 의미적으로 유사한 명령어 변형을 제안하여 최적의 후보를 개선하는명령어 변형을 제안하여 최상의 후보를 개선하는 반복 몬테카를로 검색 방법을 제안합니다. 직관적으로, 우리의 알고리즘은 데모를 기반으로 LLM에 명령어 후보 집합을 생성하도록 요청합니다.를 생성한 다음 어떤 명령어가 더 유망한지 평가하도록 요청합니다. 우리는알고리즘을 자동 프롬프트 엔지니어(APE)라고 부릅니다. 우리의 주요 기여는 다음과 같습니다:- 명령어 생성을 자연어 프로그램 합성으로 정의하고, 명령어 생성을블랙박스 최적화 문제로 공식화하고, 대략적인 결과를 도출하기 위한 순진 및 반복적인몬테카를로 탐색 방법을 제안하여 해를 근사화합니다.- 우리가 제안한 방법인 APE는 제로 샷 학습에서 인간 수준의 성능을 달성합니다.24/24 명령어 유도 및 17/21 빅 벤치 작업에 대한 모델 생성 명령어로 제로 샷 학습에서 인간 수준의 성능을 달성합니다.- 유니티는 APE의 다양한 측면을 탐구하는 광범위한 정성적 및 정량적 분석을 제공합니다.APE의 다양한 측면을 탐구하는 광범위한 정량적 분석을 제공하며, 단발성 학습을 개선하기 위한 APE의 적용 사례를 보여줍니다.제로샷 학습을 개선하고, LLM을 다음과 같은 바람직한 행동으로 유도하기 위한 APE의 적용 사례를 보여줍니다.진실성 및/또는 정보성.