\(\bullet\)_RL-based approaches._ Since discrete prompts are difficult to be learned through gradient back-propagation, a number of studies propose to formulate the discrete prompt optimization as a reinforcement learning (RL) problem and leverage RL algorithms for optimization [467, 468]. For example, RLPrompt [467] trains a policy network to generate desired prompts with multiple reward functions. In this approach, several effective reward stabilization strategies are also proposed to enhance the RL training efficiency. Compared to previous work that requires sufficient data for training, TEMPERA [468] proposes to directly generate prompts at test time by utilizing a pre-trained RL agent to sequentially edit different parts of an manually-written initial prompt.
\(\bullet\)_RL-based approaches._ 이산 프롬프트는 경사 역전파를 통해 학습하기 어렵기 때문에, 많은 연구에서 이산 프롬프트 최적화를 Reinforcement Learning (RL) 문제로 공식화하고 최적화를 위해 RL 알고리즘을 활용할 것을 제안합니다[467, 468]. 예를 들어, RLPrompt [467]은 여러 보상 함수를 사용하여 원하는 프롬프트를 생성하기 위해 정책 네트워크를 훈련합니다. 이 접근 방식에서는 RL 훈련 효율성을 향상시키기 위해 몇 가지 효과적인 보상 안정화 전략도 제안됩니다. 훈련을 위해 충분한 데이터가 필요한 이전 작업과 비교하여, TEMPERA [468]는 사전 학습된 RL 에이전트를 활용하여 수동으로 작성된 초기 프롬프트의 여러 부분을 순차적으로 편집하여 테스트 시간에 프롬프트를 직접 생성할 것을 제안합니다.
\(\bullet\)_RL 기반 접근 방식._ 이산 프롬프트는 경사 역전파를 통해 학습하기 어렵기 때문에, 많은 연구에서 이산 프롬프트 최적화를 강화 학습(RL) 문제로 공식화하고 최적화를 위해 RL 알고리즘을 활용할 것을 제안합니다[467, 468]. 예를 들어, RLPrompt [467]은 여러 보상 함수를 사용하여 원하는 프롬프트를 생성하기 위해 정책 네트워크를 훈련합니다. 이 접근 방식에서는 RL 훈련 효율성을 향상시키기 위해 몇 가지 효과적인 보상 안정화 전략도 제안됩니다. 훈련을 위해 충분한 데이터가 필요한 이전 작업과 비교하여, TEMPERA [468]는 사전 학습된 RL 에이전트를 활용하여 수동으로 작성된 초기 프롬프트의 여러 부분을 순차적으로 편집하여 테스트 시간에 프롬프트를 직접 생성할 것을 제안합니다.