Low-Rank Adaptation is a popular and lightweight training technique that significantly reduces the number of trainable parameters, and is based on a crucial insight that the difference between the fine-tuned weights for a specialized task and the initial pre-trained weights often exhibits "low intrinsic rank" - meaning that it can be approximated well by a low rank matrix [142].
Low-Rank Adaptation은 훈련 가능한 매개변수의 수를 크게 줄이는 인기 있고 가벼운 훈련 기법으로, 특정 작업에 맞게 미세 조정된 가중치와 초기 사전 훈련된 가중치 간의 차이가 종종 "낮은 내재적 순위"를 나타낸다는 중요한 통찰에 기반합니다. 이는 낮은 순위의 행렬로 잘 근사화될 수 있음을 의미합니다 [142].
Low-Rank Adaptation은 훈련 가능한 파라미터의 수를 크게 줄이는 인기 있고 가벼운 훈련 기법으로, 전문화된 작업에 대한 미세 조정된 가중치와 초기 사전 학습된 가중치 사이의 차이가 종종 "내재 순위가 낮다"는 중요한 통찰력에 기반합니다. 즉, 낮은 순위 행렬로 잘 근사화할 수 있다는 것을 의미합니다[142].