\(\bullet\)_Gradient-based approaches._ This kind of approaches aims to optimize the prompt search process by maximizing the output likelihood via gradient update [405, 464, 465, 466]. As a representative work, Auto-Prompt [405] proposes a gradient-guided method to greedly searches the optimal token for each position of the prompt, leveraging the gradient approximated by the change in the log-likelihood when replacing a prompt token with another candidate token from vocabulary. However, such a search process can be extremely expensive since it needs to evaluate each candidate token for each position of the prompt, leading to a number of additional forward passes. Therefore, improved gradient method [464] has been proposed by transforming discrete tokens into continuous embeddings and computing the gradient on continuous space during optimization.
\(\bullet\)_Gradient-based approaches._ 이러한 접근 방식은 gradient 업데이트를 통해 출력 가능성을 최대화하여 prompt 검색 프로세스를 최적화하는 것을 목표로 합니다[405, 464, 465, 466]. 대표적인 연구로서, Auto-Prompt [405]는 prompt 토큰을 어휘의 다른 후보 토큰으로 대체할 때 log-likelihood의 변화에 의해 근사화된 gradient를 활용하여 prompt의 각 위치에 대해 최적의 토큰을 탐욕적으로 검색하는 gradient-guided 방법을 제안합니다. 그러나 이러한 검색 프로세스는 prompt의 각 위치에 대해 각 후보 토큰을 평가해야 하므로 매우 많은 비용이 소요될 수 있으며, 이로 인해 많은 추가 forward pass가 발생할 수 있습니다. 따라서 개선된 gradient 방법 [464]은 불연속 토큰을 연속 embedding으로 변환하고 최적화 중에 연속 공간에서 gradient를 계산하여 제안되었습니다.
\(\bullet\)_그라디언트 기반 접근법._ 이러한 접근 방식은 그라디언트 업데이트를 통해 출력 가능성을 최대화하여 프롬프트 검색 프로세스를 최적화하는 것을 목표로 합니다[405, 464, 465, 466]. 대표적인 연구로서, Auto-Prompt [405]는 프롬프트 토큰을 어휘의 다른 후보 토큰으로 대체할 때 로그-확률의 변화에 의해 근사화된 그라디언트를 활용하여 프롬프트의 각 위치에 대해 최적의 토큰을 탐욕적으로 검색하는 그라디언트 가이드 방법을 제안합니다. 그러나 이러한 검색 프로세스는 프롬프트의 각 위치에 대해 각 후보 토큰을 평가해야 하므로 매우 많은 비용이 소요될 수 있으며, 이로 인해 많은 추가 포워드 패스가 발생할 수 있습니다. 따라서 개선된 그라디언트 방법 [464]은 불연속 토큰을 연속 임베딩으로 변환하고 최적화 중에 연속 공간에서 그라디언트를 계산하여 제안되었습니다.