**LoRA**[225] library provides the support for Low-Rank Adaptation of Large Language Models. It reduces the number of trainable parameters by learning pairs of rank-decomposition matrices while freezing the original weights. This vastly reduces the storage requirement for large language models adapted to specific tasks and enables efficient task-switching during deployment all without introducing inference latency. LoRA also outperforms several other adaptation methods including adapter, prefix-tuning, and fine-tuning.
**LoRA**[225] 라이브러리는 Low-Rank Adaptation of Large Language Models를 지원합니다. 원래 가중치를 동결한 상태에서 랭크 분해 행렬 쌍을 학습하여 훈련 가능한 파라미터의 수를 줄여줍니다. 이를 통해 특정 작업에 맞게 조정된 Large Language Models에 대한 저장소 요구 사항을 크게 줄일 수 있으며, 추론 지연 시간 없이도 배포 중에 효율적인 작업 전환을 가능하게 합니다. 또한 LoRA는 adapter, prefix-tuning, Fine-tuning을 포함한 여러 다른 적응 방법보다 성능이 뛰어납니다.
**LoRA**[225] 라이브러리는 대규모 언어 모델의 저급 적응을 지원합니다. 원래 가중치를 동결한 상태에서 랭크 분해 행렬 쌍을 학습하여 훈련 가능한 파라미터의 수를 줄여줍니다. 이를 통해 특정 작업에 맞게 조정된 대규모 언어 모델에 대한 저장소 요구 사항을 크게 줄일 수 있으며, 추론 지연 시간 없이도 배포 중에 효율적인 작업 전환을 가능하게 합니다. 또한 LoRA는 어댑터, 접두사 튜닝, 미세 조정을 포함한 여러 다른 적응 방법보다 성능이 뛰어납니다.