**K-Adapter**(Wang et al., 2021) is another parameter-expansion method that freezes the original parameters of the LM while adding \(k\) number of new layers, namely _adapters_, that are updated during continued pretraining. Wang et al. (2021) have shown successful injection of _factual_ and _linguistic_ knowledge for encoder-only models, BERT (Devlin et al., 2019) & RoBERTa (Liu et al., 2019), while we also apply it to an encoder-decoder model, T5, and decoder-only model, GPT-2.
**K-Adapter**(Wang et al., 2021)는 LM의 원래 파라미터를 동결한 채 \(k\) 개의 새로운 레이어, 즉 _adapters_를 추가하여 지속적인 사전 학습 중에 업데이트하는 또 다른 파라미터 확장 방법입니다. Wang et al. (2021)은 encoder 전용 모델인 BERT(Devlin et al., 2019) 및 RoBERTa(Liu et al., 2019)에 대해 _factual_ 및 _linguistic_ 지식을 성공적으로 주입한 반면, encoder-decoder 모델인 T5 및 decoder 전용 모델인 GPT-2에도 적용했습니다.
**K-어댑터**(Wang et al., 2021)는 LM의 원래 파라미터를 동결한 채 \(k\) 개의 새로운 레이어, 즉 _어댑터_를 추가하여 지속적인 사전 학습 중에 업데이트하는 또 다른 파라미터 확장 방법입니다. Wang et al. (2021)은 인코더 전용 모델인 BERT(Devlin et al., 2019) 및 RoBERTa(Liu et al., 2019)에 대해 _사실적_ 및 _언어적_ 지식을 성공적으로 주입한 반면, 인코더-디코더 모델인 T5 및 디코더 전용 모델인 GPT-2에도 적용했습니다.