**K-Adapter**(Wang et al., 2021) Similarly with T5-LoRA, we freeze the encoder for the encoder-decoder LM and the entire model for GPT-2. We implement \(k=2,3\) for both T5 and GPT-2 to see the effect of increasing # of parameters. Unlike in the original paper, we set the configuration of the adapter identical to a single transformer layer from the original LM, ridding the need of an up-projection and down-projection layer.
**K-Adapter**(Wang et al., 2021) T5-LoRA와 마찬가지로 Encoder-Decoder LM의 경우 Encoder를, GPT-2의 경우 전체 모델을 동결합니다. 파라미터 수 증가 효과를 확인하기 위해 T5와 GPT-2 모두에 대해 \(k=2,3\)을 구현합니다. 원래 논문과 달리 어댑터의 구성을 원래 LM의 Transformer 레이어 하나와 동일하게 설정하여 상향 투영 및 하향 투영 레이어가 필요하지 않도록 합니다.
**K-Adapter**(Wang et al., 2021) T5-LoRA와 마찬가지로 인코더-디코더 LM의 경우 인코더를, GPT-2의 경우 전체 모델을 동결합니다. 파라미터 수 증가 효과를 확인하기 위해 T5와 GPT-2 모두에 대해 \(k=2,3\)을 구현합니다. 원래 논문과 달리 어댑터의 구성을 원래 LM의 트랜스포머 레이어 하나와 동일하게 설정하여 상향 투영 및 하향 투영 레이어가 필요하지 않도록 합니다.