**Low-Rank Adaptation (LoRA)**. LoRA [145] imposes the low-rank constraint for approximating the update matrix at each dense layer, so as to reduce the trainable parameters for adapting to downstream tasks. Consider the case of optimizing a parameter matrix \(\mathbf{W}\). The update process can be written in a general form as: \(\mathbf{W}\leftarrow\mathbf{W}+\Delta\mathbf{W}\). The basic idea of LoRA is to freeze the original matrix \(\mathbf{W}\in\mathbb{R}^{m\times n}\) while approximating the parameter update \(\Delta\mathbf{W}\) by low-rank decomposition matrices, _i.e.,_\(\Delta\mathbf{W}=\mathbf{A}\cdot\mathbf{B}^{\top}\), where \(\mathbf{A}\in\mathbb{R}^{m\times k}\) and \(\mathbf{B}\in\mathbb{R}^{n\times k}\) are the trainable parameters for task adaptation and \(k\ll\min(m,n)\) is the reduced rank. The major merit of LoRA is that it can largely save the memory and storage usage (_e.g.,_ VRAM). Further, one can only keep a single large model copy, while maintaining a number of task-specific low-rank decomposition matrices for adapting to different downstream tasks. Further, several studies have also discussed how to set the rank in a more principled approach, _e.g.,_ importance score based allocation [406] and search-free optimal rank selection [407].
**Low-Rank Adaptation (LoRA)**. LoRA [145]는 다운스트림 작업에 적응하기 위해 학습 가능한 파라미터를 줄이기 위해 각 밀도 레이어에서 업데이트 행렬을 근사화하기 위해 저급 제약을 부과합니다. 파라미터 행렬 \(\mathbf{W}\)를 최적화하는 경우를 생각해 보겠습니다. 업데이트 프로세스는 일반적인 형태로 다음과 같이 작성할 수 있습니다: \(\mathbf{W}\leftarrow\mathbf{W}+\Delta\mathbf{W}\). LoRA의 기본 아이디어는 원래 행렬 \(\mathbf{W}\in\mathbb{R}^{m\times n}\)을 동결한 채로 파라미터 업데이트 \(\Delta\mathbf{W}\)를 저급 분해 행렬, 즉 \(\Delta\mathbf{W}=\mathbf{A}\cdot\mathbf{B}^{\top}\), 여기서 \(\mathbf{A}\in\mathbb{R}^{m\times k}\) 및 \(\mathbf{B}\in\mathbb{R}^{n\times k}\)는 작업 적응을 위한 학습 가능한 파라미터이며 \(k\ll\min(m,n)\)은 환원된 순위입니다. LoRA의 가장 큰 장점은 메모리 및 저장소 사용량(_예:_ VRAM)을 크게 절약할 수 있다는 것입니다. 또한, 하나의 큰 모델 복사본만 유지하면서 다양한 다운스트림 작업에 적응하기 위해 여러 작업별 저급 분해 행렬을 유지할 수 있습니다. 또한, 중요도 점수 기반 할당 [406] 및 검색 없는 최적 순위 선택 [407]과 같이 보다 원칙적인 접근 방식으로 순위를 설정하는 방법에 대해서도 여러 연구에서 논의했습니다.
**Low-Rank Adaptation(LoRA)**. LoRA [145]는 다운스트림 작업에 적응하기 위해 학습 가능한 파라미터를 줄이기 위해 각 밀도 레이어에서 업데이트 행렬을 근사화하기 위해 저급 제약을 부과합니다. 파라미터 행렬 \(\mathbf{W}\)를 최적화하는 경우를 생각해 보겠습니다. 업데이트 프로세스는 일반적인 형태로 다음과 같이 작성할 수 있습니다: \(\mathbf{W}\leftarrow\mathbf{W}+\Delta\mathbf{W}\). LoRA의 기본 아이디어는 원래 행렬 \(\mathbf{W}\in\mathbb{R}^{m\times n}\)을 동결한 채로 파라미터 업데이트 \(\Delta\mathbf{W}\)를 저급 분해 행렬, 즉 \(\Delta\mathbf{W}=\mathbf{A}\cdot\mathbf{B}^{\top}\), 여기서 \(\mathbf{A}\in\mathbb{R}^{m\times k}\), \(\mathbf{B}\in\mathbb{R}^{n\times k}\), 여기서 \(\mathbf{A}\in\mathbb{R}^{m\times k}\), \(\mathbf{B}\in\mathbb{R}^{n\times k}\), 여기서 \(k\ll\min(m,n)\)은 환원된 순위입니다. LoRA의 가장 큰 장점은 메모리 및 저장소 사용량(_예:_ VRAM)을 크게 절약할 수 있다는 것입니다. 또한, 하나의 큰 모델 복사본만 유지하면서 다양한 다운스트림 작업에 적응하기 위해 여러 작업별 저급 분해 행렬을 유지할 수 있습니다. 또한, 중요도 점수 기반 할당 [406] 및 검색 없는 최적 순위 선택 [407]과 같이 보다 원칙적인 접근 방식으로 순위를 설정하는 방법에 대해서도 여러 연구에서 논의했습니다.