stages. We primarily incorporate LoRA adapters into the weights of the attention module and MLP layers. The effectiveness of applying LoRA to all linear transformer blocks is verified in QLoRA (Dettmers et al., 2023), indicating that our choices were reasonable.
단계. 우리는 주로 attention 모듈과 MLP 레이어의 가중치에 LoRA 어댑터를 통합합니다. 모든 linear Transformer 블록에 LoRA를 적용하는 것의 효과는 QLoRA(Dettmers et al., 2023)에서 검증되었으며, 이는 우리의 선택이 합리적이었음을 나타냅니다.
단계. 우리는 주로 주의 집중 모듈과 MLP 레이어의 가중치에 LoRA 어댑터를 통합합니다. 모든 선형 트랜스포머 블록에 LoRA를 적용하는 것의 효과는 QLoRA(Dettmers et al., 2023)에서 검증되었으며, 이는 우리의 선택이 합리적이었음을 나타냅니다.