* _Efficient fine-tuning enhanced quantization_. For post-training quantization, direct low-bit quantization (_e.g.,_ INT4 quantization) often results in large performance degradation. To overcome this challenge, QLoRA [419] incorporates additional small tunable adapters (16-bit precision) into the quantized models, to achieve an efficient, high-precision model fine-tuning. It combines the merits of LoRA (See Section 5.3.1) and quantization methods. The experiment results show that 4-bit quantized models can achieve the full 16-bit fine-tuning performance by QLoRA. * _Quantization-aware training (QAT) for LLMs_. A recent study [420] explores the effect of QAT methods by applying a data-free distillation method to compress the weights, activations as well as key-value cache. By conducting extensive experiments based on LLaMA, they show promising results with 4-bit quantization on both weights and key-value cache, but not on 4-bit activation quantization, which still needs more exploration.
* _효율적인 미세 조정 강화 양자화_. 훈련 후 양자화의 경우, 직접적인 저비트 양자화 (_예:_, INT4 양자화)는 종종 큰 성능 저하를 초래합니다. 이 문제를 극복하기 위해, QLoRA [419]는 양자화된 모델에 추가적인 작은 조정 가능한 어댑터(16비트 정밀도)를 포함시켜 효율적이고 고정밀도의 모델 미세 조정을 달성합니다. 이는 LoRA (섹션 5.3.1 참조)와 양자화 방법의 장점을 결합합니다. 실험 결과에 따르면, 4비트 양자화된 모델은 QLoRA를 통해 전체 16비트 미세 조정 성능을 달성할 수 있습니다. * _LLMs를 위한 양자화 인식 훈련 (QAT)_. 최근 연구 [420]는 데이터 없는 증류 방법을 적용하여 가중치, 활성화 및 키-값 캐시를 압축함으로써 QAT 방법의 효과를 탐구합니다. LLaMA를 기반으로 한 광범위한 실험을 통해, 가중치와 키-값 캐시에 대한 4비트 양자화에서 유망한 결과를 보여주었지만, 4비트 활성화 양자화에서는 여전히 더 많은 탐구가 필요합니다.
* _효율적인 미세 조정 강화 양자화_. 사후 학습 양자화의 경우, 직접적인 저비트 양자화(_예:_ INT4 양자화)는 종종 성능 저하가 큽니다. 이 문제를 극복하기 위해 QLoRA [419]는 양자화된 모델에 추가로 작은 조정 가능한 어댑터(16비트 정밀도)를 통합하여 효율적이고 고정밀한 모델 미세 조정을 달성합니다. 이 방법은 LoRA(섹션 5.3.1 참조)와 양자화 방법의 장점을 결합한 것입니다. 실험 결과, 4비트 양자화 모델은 QLoRA를 통해 16비트 미세 조정 성능을 모두 달성할 수 있음을 보여주었습니다. * _LLM을 위한 양자화 인식 훈련(QAT)_. 최근 연구 [420]에서는 데이터 없는 증류 방법을 적용하여 가중치, 활성화 및 키-값 캐시를 압축함으로써 QAT 방법의 효과를 탐구합니다. LLaMA를 기반으로 광범위한 실험을 수행한 결과, 가중치와 키-값 캐시 모두 4비트 양자화로 유망한 결과를 보여주었지만 4비트 활성화 양자화는 아직 더 많은 탐색이 필요한 것으로 나타났습니다.