Parameter-expansionK-Adapter (Wang et al., 2021) shares and freezes the original parameters and adds new parameters through adapters for continued pretraining of factual and linguistic knowledge and improve performance on three different knowledge-driven downstream tasks. More recently, LoRA (Hu et al., 2021) freezes the original parameters and injects trainable rank-decomposition matrices into each layer of the Transformer architecture, greatly reducing the number of trainable parameters and the computational hardware requirement while performing on-par or better than training all of the parameters. Both methods hypothesize freezing the original parameters allows mitigation of catastrophic forgetting. We test out the hypothesis through implementation in our CKL benchmark.
파라미터 확장K-Adapter(Wang et al., 2021)는 원래 파라미터를 공유하고 동결하고 어댑터를 통해 새로운 파라미터를 추가하여 사실적 및 언어적 지식의 지속적인 사전 학습을 수행하고 세 가지 다른 지식 기반 다운스트림 작업에서 성능을 향상시킵니다. 최근에는 LoRA(Hu et al., 2021)가 원래 파라미터를 동결하고 훈련 가능한 순위 분해 행렬을 Transformer 아키텍처의 각 레이어에 삽입하여 훈련 가능한 파라미터 수와 계산 하드웨어 요구 사항을 크게 줄이면서 모든 파라미터를 훈련하는 것보다 동등하거나 더 나은 성능을 발휘합니다. 두 가지 방법 모두 원래 파라미터를 동결하면 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈
파라미터 확장K-어댑터(Wang et al., 2021)는 원래 파라미터를 공유하고 동결하고 어댑터를 통해 새로운 파라미터를 추가하여 사실적 및 언어적 지식의 지속적인 사전 학습을 수행하고 세 가지 다른 지식 기반 다운스트림 작업에서 성능을 향상시킵니다. 최근에는 LoRA(Hu et al., 2021)가 원래 파라미터를 동결하고 트랜스포머 아키텍처의 각 레이어에 훈련 가능한 순위 분해 행렬을 삽입하여 훈련 가능한 파라미터 수와 계산 하드웨어 요구 사항을 크게 줄이면서 모든 파라미터를 훈련하는 것보다 동등하거나 더 나은 성능을 발휘합니다. 두 가지 방법 모두 원래 파라미터를 동결하면 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할 때 파라미터를 훈련할