In existing literature, parameter-efficient fine-tuning [145, 396, 397] has been an important topic that aims to reduce the number of trainable parameters while retaining a good performance as possible. In what follows, we briefly review four parameter-efficient fine-tuning methods for Transformer language models, including adapter tuning, prefix tuning, prompt tuning and LoRA. The illustration of these four methods are shown in Figure 13.
기존 문헌에서 parameter-efficient Fine-tuning[145, 396, 397]은 가능한 한 좋은 성능을 유지하면서 훈련 가능한 매개변수의 수를 줄이는 것을 목표로 하는 중요한 주제였습니다. 다음에서는 adapter tuning, prefix tuning, prompt tuning, LoRA 등 Transformer 언어 모델을 위한 네 가지 parameter-efficient Fine-tuning 방법을 간략하게 검토합니다. 이 네 가지 방법의 예시는 그림 13에 나와 있습니다.
기존 문헌에서 매개변수 효율적인 미세 조정[145, 396, 397]은 가능한 한 좋은 성능을 유지하면서 훈련 가능한 매개변수의 수를 줄이는 것을 목표로 하는 중요한 주제였습니다. 다음에서는 어댑터 튜닝, 접두사 튜닝, 프롬프트 튜닝, LoRA 등 트랜스포머 언어 모델을 위한 네 가지 매개변수 효율적인 미세 조정 방법을 간략하게 검토합니다. 이 네 가지 방법의 예시는 그림 13에 나와 있습니다.