**Prompt Tuning**. Different from prefix tuning, prompt tuning [397, 402] mainly focuses on incorporating trainable prompt vectors at the input layer32. Based on the discrete prompting methods [404, 405], it augments the input text by including a group of soft prompt tokens (either in a free form [402] or a prefix form [397]), and then takes the prompt-augmented input to solve specific downstream tasks. In implementation, task-specific prompt embeddings are combined with the input text embeddings, which are subsequently fed into language models. P-tuning [402] has proposed a free form to combine the context, prompt and target tokens, which can be applied to the architectures for both natural language understanding and generation. They further learn the representations of soft prompt tokens by a bidirectional LSTM. Another representative approach [397] named _prompt tuning_ directly prepends prefix prompts to the input. During training, only the prompt embeddings would be learned according to task-specific supervisions. Since this method only includes a small number of trainable parameters at the input layer, it has been found that the performance highly relies on the model capacity of the underlying language models [397].
**Prompt Tuning**. Prompt Tuning[397, 402]은 Prefix Tuning과는 달리 주로 입력 레이어32에 학습 가능한 prompt 벡터를 통합하는 데 중점을 둡니다. Discrete Prompting Methods[404, 405]을 기반으로 하여 soft prompt 토큰 그룹을 포함하여 입력 텍스트를 증강한 다음, prompt-augmented 입력을 사용하여 특정 다운스트림 작업을 해결합니다. 구현 시, 작업별 prompt embeddings은 입력 텍스트 embeddings과 결합되어 언어 모델에 공급됩니다. P-tuning[402]은 자연어 이해 및 생성을 위한 아키텍처에 적용할 수 있는 컨텍스트, prompt 및 대상 토큰을 결합하는 자유 형식을 제안했습니다. 또한 양방향 LSTM을 통해 soft prompt 토큰의 표현을 학습합니다. 또 다른 대표적인 접근 방식[397]인 'Prompt Tuning'은 입력에 prefix prompts를 직접 앞에 붙입니다. 훈련 중에 prompt embeddings만 작업별 감독에 따라 학습됩니다. 이 방법은 입력 레이어에 학습 가능한 파라미터가 소수만 포함되므로 성능이 기본 언어 모델의 모델 용량에 크게 의존하는 것으로 나타났습니다[397].
프롬프트 튜닝**. 프롬프트 튜닝[397, 402]은 접두사 튜닝과는 달리 주로 입력 레이어32에 학습 가능한 프롬프트 벡터를 통합하는 데 중점을 둡니다. 이산 프롬프트 방법[404, 405]을 기반으로 하여 소프트 프롬프트 토큰 그룹을 포함하여 입력 텍스트를 증강한 다음, 프롬프트 증강된 입력을 사용하여 특정 다운스트림 작업을 해결합니다. 구현 시, 작업별 프롬프트 임베딩은 입력 텍스트 임베딩과 결합되어 언어 모델에 공급됩니다. P-튜닝[402]은 자연어 이해 및 생성을 위한 아키텍처에 적용할 수 있는 컨텍스트, 프롬프트 및 대상 토큰을 결합하는 자유 형식을 제안했습니다. 또한 양방향 LSTM을 통해 소프트 프롬프트 토큰의 표현을 학습합니다. 또 다른 대표적인 접근 방식[397]인 '프롬프트 튜닝'은 입력에 접두사 프롬프트를 직접 앞에 붙입니다. 훈련 중에 프롬프트 임베딩만 작업별 감독에 따라 학습됩니다. 이 방법은 입력 레이어에 학습 가능한 파라미터가 소수만 포함되므로 성능이 기본 언어 모델의 모델 용량에 크게 의존하는 것으로 나타났습니다[397].