Training with LoRA is much faster, memory-efficient, and produces smaller model weights (a few hundred MBs), that are easier to store and share. One property of low-rank matrices is that they can be represented as the product of two smaller matrices. This realization leads to the hypothesis that this delta between fine-tuned weights and initial pre-trained weights can be represented as the matrix product of two much smaller matrices. By focusing on updating these two smaller matrices rather than the entire original weight matrix, computational efficiency can be substantially improved.
LoRA로 훈련하는 것이 훨씬 빠르고 메모리 효율적이며, 더 작은 모델 가중치(수백 MB)를 생성하여 저장하고 공유하기가 더 쉽습니다. 저랭수 행렬의 한 가지 특성은 두 개의 작은 행렬의 곱으로 표현할 수 있다는 것입니다. 이러한 깨달음은 이 delta between Fine-tuned weights and initial pre-trained weights를 훨씬 작은 두 개의 행렬의 행렬 곱으로 표현할 수 있다는 가설로 이어집니다. 원래 가중치 행렬 전체를 업데이트하는 대신 이 두 개의 작은 행렬을 업데이트하는 데 집중함으로써 계산 효율성을 크게 개선할 수 있습니다.
LoRA로 훈련하는 것이 훨씬 빠르고 메모리 효율적이며, 더 작은 모델 가중치(수백 MB)를 생성하여 저장하고 공유하기가 더 쉽습니다. 저랭수 행렬의 한 가지 특성은 두 개의 작은 행렬의 곱으로 표현할 수 있다는 것입니다. 이러한 깨달음은 미세 조정된 가중치와 초기 사전 학습된 가중치 사이의 차이를 훨씬 작은 두 개의 행렬의 행렬 곱으로 표현할 수 있다는 가설로 이어집니다. 원래 가중치 행렬 전체를 업데이트하는 대신 이 두 개의 작은 행렬을 업데이트하는 데 집중함으로써 계산 효율성을 크게 개선할 수 있습니다.