It is worth mentioning that LoRA can be applied to any a subset of weight matrices in a neural network to reduce the number of trainable parameters. In the Transformer architecture, there are four weight matrices in the self-attention module (\(W_{q}\), \(W_{k}\), \(W_{w}\), \(W_{o}\)), and two in the MLP module. Most of the time, LoRA is focused on adapting the attention weights only for downstream tasks, and freezes the MLP modules, so they are not trained in downstream tasks both for simplicity and parameter-efficiency.
LoRA는 신경망의 weight 행렬 하위 집합에 적용하여 훈련 가능한 파라미터의 수를 줄일 수 있다는 점을 언급할 필요가 있습니다. Transformer 아키텍처에는 self-attention 모듈에 4개의 weight 행렬(\(W_{q}\), \(W_{k}\), \(W_{w}\), \(W_{o}\))이 있고, MLP 모듈에는 2개의 weight 행렬이 있습니다. 대부분의 경우, LoRA는 downstream 작업에 대해서만 attention weight를 조정하는 데 중점을 두며 MLP 모듈을 동결하므로 downstream 작업에서 단순성과 파라미터 효율성을 위해 훈련되지 않습니다.
LoRA는 신경망의 가중치 행렬 하위 집합에 적용하여 훈련 가능한 파라미터의 수를 줄일 수 있다는 점을 언급할 필요가 있습니다. 트랜스포머 아키텍처에는 자기 주의 모듈에 4개의 가중치 행렬(\(W_{q}\), \(W_{k}\), \(W_{w}\), \(W_{o}\))이 있고, MLP 모듈에는 2개의 가중치 행렬이 있습니다. 대부분의 경우, LoRA는 다운스트림 작업에 대해서만 주의도 가중치를 조정하는 데 중점을 두며 MLP 모듈을 동결하므로 다운스트림 작업에서 단순성과 파라미터 효율성을 위해 훈련되지 않습니다.