* LoraHu et al. (2022): A method that incorporates trainable low-rank decomposition matrices into each layer of the Transformer-based model. In our implementation, we selectively adapt only the query and value projection matrices of each layer in the model. * (IA)\({}^{3}\)Liu et al. (2022): A technique involving element-wise multiplication of the model's activations with a learned vector. We rescale the key and value matrices in self-attention modules and the inner activations in feed-forward modules in each model layer.
* LoraHu 등(2022): Transformer 기반 모델의 각 레이어에 학습 가능한 저랭크 분해 행렬을 통합하는 방법. 이 구현에서는 모델의 각 레이어에서 query 및 value projection 행렬만 선택적으로 조정합니다. * (IA)\({}^{3}\)Liu 등(2022): 모델의 활성화를 학습된 벡터와 요소별로 곱하는 기술. 각 모델 레이어의 self-attention 모듈에서 key 및 value 행렬과 feed-forward 모듈의 내부 활성화를 재스케일링합니다.
* LoraHu 등(2022): 트랜스포머 기반 모델의 각 레이어에 학습 가능한 저랭크 분해 행렬을 통합하는 방법. 이 구현에서는 모델의 각 레이어에서 쿼리 및 값 투영 행렬만 선택적으로 조정합니다. * (IA)\({}^{3}\)Liu 등(2022): 모델의 활성화를 학습된 벡터와 요소별로 곱하는 기술. 각 모델 레이어의 자체 주의도 모듈에서 키 및 값 행렬과 피드 포워드 모듈의 내부 활성화를 재스케일링합니다.