**Continuous Prompt Optimization.** Different from discrete prompts, continuous prompts consist of a set of continuous embeddings, which can be directly optimized through the gradient update based on the loss of downstream tasks. Note that continuous prompt optimization has been mainly studied in PLMs, but draws limited attention in era of LLMs due to their massive magnitudes of parameters. We include the discussion of this part for content completeness. In prior work, most studies typically rely on supervised learning to train continuous prompts based on task data. Furthermore, in data-scarce scenarios, transfer learning methods can be employed to alleviate the lack of labeled data on target tasks. These two approaches are detailed below.
**Continuous Prompt Optimization.** 이산형 프롬프트와 달리 continuous prompts는 일련의 continuous embeddings로 구성되며, 다운스트림 작업의 loss를 기반으로 gradient update를 통해 직접 최적화할 수 있습니다. Continuous prompt optimization은 주로 PLMs에서 연구되어 왔지만, 매개변수의 규모가 방대하기 때문에 LLMs 시대에는 많은 관심을 받지 못했습니다. 콘텐츠의 완전성을 위해 이 부분에 대한 논의를 포함했습니다. 이전 연구에서는 대부분의 연구가 일반적으로 supervised learning에 의존하여 작업 데이터를 기반으로 continuous prompts를 훈련합니다. 또한 데이터가 부족한 시나리오에서는 transfer learning 방법을 사용하여 대상 작업에 대한 레이블이 지정된 데이터 부족을 완화할 수 있습니다. 이 두 가지 접근 방식은 아래에 자세히 설명되어 있습니다.
**연속 프롬프트 최적화.** 이산형 프롬프트와 달리 연속형 프롬프트는 일련의 연속 임베딩으로 구성되며, 다운스트림 작업의 손실을 기반으로 그라디언트 업데이트를 통해 직접 최적화할 수 있습니다. 연속 프롬프트 최적화는 주로 PLM에서 연구되어 왔지만, 매개변수의 규모가 방대하기 때문에 LLM 시대에는 많은 관심을 받지 못했습니다. 콘텐츠의 완전성을 위해 이 부분에 대한 논의를 포함했습니다. 이전 연구에서는 대부분의 연구가 일반적으로 지도 학습에 의존하여 작업 데이터를 기반으로 연속 프롬프트를 훈련합니다. 또한 데이터가 부족한 시나리오에서는 전이 학습 방법을 사용하여 대상 작업에 대한 레이블이 지정된 데이터 부족을 완화할 수 있습니다. 이 두 가지 접근 방식은 아래에 자세히 설명되어 있습니다.