\(\bullet\)_Prompt learning with sufficient data._ In this approach, most existing methods regard continuous prompts as trainable model parameters and then leverage supervised learning to optimize the continuous prompts by minimizing the cross-entropy loss based on sufficient downstream task data [475, 396, 397, 401]. As discussed in Section 5.3.1, prefix tuning [396] prepends a sequence of prefixes (_i.e.,_ a set of trainable continuous vectors) to each Transformer layer in language models, while prompt tuning [397] only incorporates trainable prompt vectors at the input layer. By fixing the large-scale parameters of LLMs and only tuning continuous prompt vector, this kind of approaches can be extremely parameter-efficient (Section 5.3). However, these approaches are typically independent of the inputs, lacking sufficient consideration of input semantics. Therefore, the authors in [475] propose context tuning, where the continuous prompts are derived based on the input text and learned through the downstream task losses.
\(\bullet\)_충분한 데이터를 사용한 Prompt learning._ 이 접근 방식에서 대부분의 기존 방법은 연속 prompts를 학습 가능한 모델 파라미터로 간주한 다음, 충분한 다운스트림 작업 데이터를 기반으로 교차 엔트로피 Loss를 최소화하여 연속 prompts를 최적화하는 지도 학습을 활용합니다 [475, 396, 397, 401]. 섹션 5.3.1에서 설명한 바와 같이, prefix tuning [396]은 언어 모델의 각 Transformer 레이어에 일련의 접두사(즉, 학습 가능한 연속 벡터 집합)를 선행하는 반면, prompt tuning [397]은 입력 레이어에만 학습 가능한 prompt 벡터를 통합합니다. LLM의 대규모 파라미터를 고정하고 연속 prompt 벡터만 튜닝함으로써 이러한 접근 방식은 매우 파라미터 효율적일 수 있습니다(섹션 5.3). 그러나 이러한 접근 방식은 일반적으로 입력과 독립적이어서 입력 의미론에 대한 충분한 고려가 부족합니다. 따라서 [475]의 저자들은 연속 prompts가 입력 텍스트를 기반으로 도출되고 다운스트림 작업 Loss를 통해 학습되는 context tuning을 제안합니다.
\(\bullet\)_충분한 데이터를 사용한 프롬프트 학습._ 이 접근 방식에서 대부분의 기존 방법은 연속 프롬프트를 학습 가능한 모델 파라미터로 간주한 다음, 충분한 다운스트림 작업 데이터를 기반으로 교차 엔트로피 손실을 최소화하여 연속 프롬프트를 최적화하는 지도 학습을 활용합니다 [475, 396, 397, 401]. 섹션 5.3.1에서 설명한 바와 같이, 접두사 튜닝 [396]은 언어 모델의 각 트랜스포머 레이어에 일련의 접두사(즉, 학습 가능한 연속 벡터 집합)를 선행하는 반면, 프롬프트 튜닝 [397]은 입력 레이어에만 학습 가능한 프롬프트 벡터를 통합합니다. LLM의 대규모 파라미터를 고정하고 연속 프롬프트 벡터만 튜닝함으로써 이러한 접근 방식은 매우 파라미터 효율적일 수 있습니다(섹션 5.3). 그러나 이러한 접근 방식은 일반적으로 입력과 독립적이어서 입력 의미론에 대한 충분한 고려가 부족합니다. 따라서 [475]의 저자들은 연속 프롬프트가 입력 텍스트를 기반으로 도출되고 다운스트림 작업 손실을 통해 학습되는 컨텍스트 튜닝을 제안합니다.