\(\bullet\)_Edit-based approaches._ For the above methods, gradient-based and RL-based tuning can be extremely computationally demanding for ever larger models, and may not be feasible for API-based model calls (_e.g.,_ ChatGPT). Therefore, another line of work aims to directly edit existing prompts based on the task performance. Specifically, GPS [469] borrows an idea from the genetic algorithm and proposes a genetic prompt search method that utilizes a language model (_i.e.,_ T5) to edit prompts by taking the cloze task form. In addition to model based edit methods, human-defined operations can be also employed for prompt editing [470], including delete, swap, paraphrase, and addition. Based on these operations, they iteratively edit the prompts and greedily search for the best prompt guided by the model performance on a small pool of examples.
\(\bullet\)_편집 기반 접근법._ 위의 방법에 대해 gradient-based 및 RL 기반 tuning은 점점 더 큰 모델에 대해 엄청난 계산 비용이 소요될 수 있으며, API 기반 모델 호출(_예:_ ChatGPT)의 경우 불가능할 수도 있습니다. 따라서 또 다른 연구에서는 작업 성능에 따라 기존 프롬프트를 직접 편집하는 것을 목표로 합니다. 구체적으로, GPS [469]는 유전 알고리즘에서 아이디어를 차용하여 cloze task 형식을 취하여 프롬프트를 편집하는 language model(_즉, T5)을 활용하는 유전 프롬프트 검색 방법을 제안합니다. 모델 기반 편집 방법 외에도 삭제, 교체, 의역, 추가 등 사람이 정의한 작업도 프롬프트 편집에 사용될 수 있습니다[470]. 이러한 작업을 기반으로 프롬프트를 반복적으로 편집하고 소수의 예제에 대한 모델 성능에 따라 가장 적합한 프롬프트를 탐욕적으로 검색합니다.
\(\bullet\)_편집 기반 접근법._ 위의 방법에 대해 그라디언트 기반 및 RL 기반 튜닝은 점점 더 큰 모델에 대해 엄청난 계산 비용이 소요될 수 있으며, API 기반 모델 호출(_예:_ ChatGPT)의 경우 불가능할 수도 있습니다. 따라서 또 다른 연구에서는 작업 성능에 따라 기존 프롬프트를 직접 편집하는 것을 목표로 합니다. 구체적으로, GPS [469]는 유전 알고리즘에서 아이디어를 차용하여 클로즈 작업 형식을 취하여 프롬프트를 편집하는 언어 모델(_즉, T5)을 활용하는 유전 프롬프트 검색 방법을 제안합니다. 모델 기반 편집 방법 외에도 삭제, 교체, 의역, 추가 등 사람이 정의한 작업도 프롬프트 편집에 사용될 수 있습니다[470]. 이러한 작업을 기반으로 프롬프트를 반복적으로 편집하고 소수의 예제에 대한 모델 성능에 따라 가장 적합한 프롬프트를 탐욕적으로 검색합니다.