Here, we delve into our adapter settings. For LoraHu et al. (2022), we selectively adapt only the query and value projection matrices of each layer in the model. We set the network rank to 8 and the alpha to 32. In the case of (A)3Liu et al. (2022), we rescale the key and value matrices in self-attention modules and the inner activations in feed-forward modules in each model layer via learned vectors. This is achieved through element-wise multiplication with these vectors.
여기서는 어댑터 설정을 자세히 살펴봅니다. LoraHu 등(2022)의 경우, 모델에서 각 레이어의 query 및 value projection 행렬만 선택적으로 조정합니다. 네트워크 rank는 8로 설정하고 alpha는 32로 설정합니다. (A)3Liu 등(2022)의 경우, 각 모델 레이어의 self-attention 모듈의 key 및 value 행렬과 feed-forward 모듈의 내부 활성화를 학습된 벡터를 통해 재스케일링합니다. 이는 이러한 벡터와의 요소별 곱셈을 통해 달성됩니다.
여기서는 어댑터 설정을 자세히 살펴봅니다. LoraHu 등(2022)의 경우, 모델에서 각 레이어의 쿼리 및 값 투영 행렬만 선택적으로 조정합니다. 네트워크 순위는 8로 설정하고 알파는 32로 설정합니다. (A)3Liu 등(2022)의 경우, 각 모델 레이어의 자기 주의도 모듈의 키 및 값 행렬과 피드 포워드 모듈의 내부 활성화를 학습된 벡터를 통해 재스케일링합니다. 이는 이러한 벡터와의 요소별 곱셈을 통해 달성됩니다.