**Prefix Tuning**. Prefix tuning [396] prepends a sequence of prefixes, which are a set of trainable continuous vectors, to each Transformer layer in language models. These prefix vectors are task-specific, which can be considered as virtual token embeddings. To optimize the prefix vectors, a reparameterization trick [396] has been proposed by learning a MLP function that maps a smaller matrix to the parameter matrix of prefixes, instead of directly optimizing the prefixes. It has been shown that this trick is useful for stable training. After optimization, the mapping function would be discarded, and only the derived prefix vectors are kept to enhance task-specific performance. Since only the prefix parameters would be trained, it can lead to a parameter-efficient model optimization. Similar to prefix tuning, p-tuning v2 [401] incorporates layer-wise prompt vectors into the Transformer architecture specially for natural language understanding, which also utilizes multi-task learning for jointly optimizing shared prompts. It has been shown to be useful in improving the model performance of different parameter scales on natural language understanding tasks.
**Prefix Tuning**. Prefix tuning [396]은 학습 가능한 연속 벡터 집합인 접두사 시퀀스를 언어 모델의 각 Transformer 레이어에 선행합니다. 이러한 prefix 벡터는 작업별로 지정되며, 가상 토큰 임베딩으로 간주할 수 있습니다. prefix 벡터를 최적화하기 위해 접두사를 직접 최적화하는 대신 더 작은 행렬을 prefix의 파라미터 행렬에 매핑하는 MLP 함수를 학습하는 reparameterization trick [396]이 제안되었습니다. 이 trick은 안정적인 훈련에 유용하다는 것이 입증되었습니다. 최적화가 끝나면 매핑 함수는 폐기되고 파생된 prefix 벡터만 유지되어 작업별 성능을 향상시킵니다. prefix 파라미터만 학습되므로 파라미터 효율적인 모델 최적화로 이어질 수 있습니다. Prefix tuning과 유사하게, p-tuning v2 [401]는 자연어 이해를 위해 특별히 Transformer 아키텍처에 레이어별 prompt 벡터를 통합하며, 공유 prompt를 공동 최적화하기 위해 multi-task learning을 활용합니다. 자연어 이해 작업에서 다양한 파라미터 규모의 모델 성능을 개선하는 데 유용한 것으로 나타났습니다.
**접두사 튜닝**. 접두사 튜닝 [396]은 학습 가능한 연속 벡터 집합인 접두사 시퀀스를 언어 모델의 각 트랜스포머 레이어에 선행합니다. 이러한 접두사 벡터는 작업별로 지정되며, 가상 토큰 임베딩으로 간주할 수 있습니다. 접두사 벡터를 최적화하기 위해 접두사를 직접 최적화하는 대신 더 작은 행렬을 접두사의 파라미터 행렬에 매핑하는 MLP 함수를 학습하는 재매개변환 트릭 [396]이 제안되었습니다. 이 트릭은 안정적인 훈련에 유용하다는 것이 입증되었습니다. 최적화가 끝나면 매핑 함수는 폐기되고 파생된 접두사 벡터만 유지되어 작업별 성능을 향상시킵니다. 접두사 파라미터만 학습되므로 파라미터 효율적인 모델 최적화로 이어질 수 있습니다. 접두사 튜닝과 유사하게, p-튜닝 v2 [401]는 자연어 이해를 위해 특별히 트랜스포머 아키텍처에 레이어별 프롬프트 벡터를 통합하며, 공유 프롬프트를 공동 최적화하기 위해 다중 작업 학습을 활용합니다. 자연어 이해 작업에서 다양한 파라미터 규모의 모델 성능을 개선하는 데 유용한 것으로 나타났습니다.