**Adapter Tuning**. Adapter tuning incorporates small neural network modules (called _adapter_) into the Transformer models [398]. To implement the adapter module, a bottleneck architecture has been proposed in [398, 399], which first compresses the original feature vector into a smaller dimension (followed by a nonlinear transformation) and then recovers it to the original dimension. The adapter modules would be integrated into each Transformer layer, typically using a serial insertion after each of the two core parts (_i.e.,_ attention layer and feed-forward layer) of a Transformer layer. Alternatively, parallel adapters [400] can be also used in Transformer layers, where it places two adapter modules in parallel with the attention layer and feed-forward layer accordingly. During fine-tuning, the adapter modules would be optimized according to the specific task goals, while the parameters of the original language model are frozen in this process. In this way, we can effectively reduce the number of trainable parameters during fine-tuning.
**Adapter Tuning**. Adapter Tuning은 Transformer 모델에 _adapter_라고 하는 작은 신경망 모듈을 통합하는 것입니다[398]. adapter 모듈을 구현하기 위해 [398, 399]에서 bottleneck architecture가 제안되었는데, 이는 먼저 원본 특징 벡터를 더 작은 차원으로 압축한 다음(비선형 변환 후) 원래 차원으로 복원하는 방식입니다. adapter 모듈은 일반적으로 Transformer layer의 두 가지 핵심 부분(_즉, attention layer 및 feed-forward layer) 각각에 직렬로 삽입하여 Transformer layer에 통합됩니다. 또는 Transformer layer에 parallel adapters[400]를 사용할 수도 있는데, 이 경우 두 개의 adapter 모듈을 attention layer 및 feed-forward layer와 병렬로 배치합니다. Fine-tuning하는 동안 adapter 모듈은 특정 작업 목표에 따라 최적화되며, 이 과정에서 원래 언어 모델의 파라미터는 동결됩니다. 이러한 방식으로 Fine-tuning 중에 훈련 가능한 파라미터의 수를 효과적으로 줄일 수 있습니다.
**어댑터 튜닝**. 어댑터 튜닝은 트랜스포머 모델에 _어댑터_라고 하는 작은 신경망 모듈을 통합하는 것입니다[398]. 어댑터 모듈을 구현하기 위해 [398, 399]에서 병목 아키텍처가 제안되었는데, 이는 먼저 원본 특징 벡터를 더 작은 차원으로 압축한 다음(비선형 변환 후) 원래 차원으로 복원하는 방식입니다. 어댑터 모듈은 일반적으로 트랜스포머 레이어의 두 가지 핵심 부분(_즉, 주의도 레이어 및 피드포워드 레이어) 각각에 직렬로 삽입하여 트랜스포머 레이어에 통합됩니다. 또는 트랜스포머 레이어에 병렬 어댑터[400]를 사용할 수도 있는데, 이 경우 두 개의 어댑터 모듈을 주의도 레이어 및 피드포워드 레이어와 병렬로 배치합니다. 미세 조정하는 동안 어댑터 모듈은 특정 작업 목표에 따라 최적화되며, 이 과정에서 원래 언어 모델의 파라미터는 동결됩니다. 이러한 방식으로 미세 조정 중에 훈련 가능한 파라미터의 수를 효과적으로 줄일 수 있습니다.