Specifically, for a pre-trained weight matrix \(W_{0}\in R^{d\times k}\), LoRA constrains its update by representing the latter with a low-rank decomposition \(W_{0}+\Delta W=\hat{W}_{0}+BA\), where \(B\in R^{d\times r}\,,\,A\in R^{r\times k}\), and the rank \(r\ll min(d,k)\). During training, \(W_{0}\) is frozen and does not receive gradient updates, while \(A\) and \(B\) contain trainable parameters. It is worth mentioning that both \(W_{0}\) and \(\Delta W=BA\) are multiplied with the same input, and their respective output vectors are summed coordinate-wise. For \(h=W_{0}x\), their modified forward pass yields: \(h=W_{0}x+\Delta Wx=W_{0}x+BAx\). Usually a random Gaussian initialization is used for \(A\), and zero initialization for \(B\), so \(\Delta W=BA\) is zero at the beginning of training. They then scale \(\Delta Wx\) by \(\alpha r\), where \(\alpha\) is a constant in r.
특히, 사전 학습된 가중치 행렬 \(W_{0}\in R^{d\times k}\)의 경우, LoRA는 후자를 저랭도 분해 \(W_{0}+\Delta W=\hat{W}_{0}+BA\)로 표현하여 업데이트를 제한하며, 여기서 \(B\in R^{d\times r}\,,\,A\in R^{r\times k}\), 랭크 \(r\ll min(d,k)\). 훈련 중에 \(W_{0}\)는 동결되어 gradient 업데이트를 받지 않으며, \(A\)와 \(B\)에는 훈련 가능한 파라미터가 포함됩니다. \(W_{0}\)와 \(\Delta W=BA\)는 모두 동일한 입력과 곱해지며, 각각의 출력 벡터는 좌표별로 합산된다는 점을 언급할 필요가 있습니다. \(h=W_{0}x\)의 경우, 수정된 순방향 통과는 다음과 같이 산출됩니다: \(h=W_{0}x+\Delta Wx=W_{0}x+BAx\). 일반적으로 \(A\)에는 무작위 가우시안 초기화가 사용되고, \(B\)에는 0 초기화가 사용되므로 훈련 시작 시 \(\Delta W=BA\)는 0이 됩니다. 그런 다음 \(\Delta Wx\)를 \(\alpha r\)로 스케일링하며, 여기서 \(\alpha\)는 r의 상수입니다.
특히, 사전 학습된 가중치 행렬 \(W_{0}\in R^{d\times k}\)의 경우, LoRA는 후자를 저랭도 분해 \(W_{0}+\Delta W=\hat{W}_{0}+BA\)로 표현하여 업데이트를 제한하며, 여기서 \(B\in R^{d\times r}\,,\,A\in R^{r\times k}\), 랭크 \(r\ll min(d,k)\). 훈련 중에 \(W_{0}\)는 동결되어 그라디언트 업데이트를 받지 않으며, \(A\)와 \(B\)에는 훈련 가능한 파라미터가 포함됩니다. W_{0}\)와 \(\Delta W=BA\)는 모두 동일한 입력과 곱해지며, 각각의 출력 벡터는 좌표별로 합산된다는 점을 언급할 필요가 있습니다. h=W_{0}x\)의 경우, 수정된 순방향 통과는 다음과 같이 산출됩니다: h=W_{0}x+\Delta Wx=W_{0}x+BAx\). 일반적으로 \(A\)에는 무작위 가우시안 초기화가 사용되고, \(B\)에는 0 초기화가 사용되므로 훈련 시작 시 \(\Delta W=BA\)는 0이 됩니다. 그런 다음 \(\Delta Wx\)를 \(\알파 r\)로 스케일링하며, 여기서 \(\알파\)는 r의 상수입니다.