\(\bullet\)_Efficient fine-tuning enhanced quantization is a good option to enhance the performance of quantized LLMs_[419, 145]. The benefits of efficient fune-tuning methods in quantization can be twofold. Firstly, it can directly compensate the performance degradation suffered from low-bit quantization [421, 423], by increasing the fitting capacity by updating high precision adapters. Secondly, it is flexible to support task-specific or goal-specific fine-tuning of LLMs in a lightweight way [419], _e.g.,_ instruction tuning or chat-oriented tuning, by only tuning the small adapters. Overall, it makes a good trade-off between the effectiveness and training cost, which provides a promising approach to enhancing the performance of quantized LLMs.
\(\bullet\)_Efficient Fine-tuning enhanced Quantization은 양자화된 LLM의 성능을 향상시키는 좋은 옵션입니다_[419, 145]. Quantization에서 효율적인 Fine-tuning 방법의 이점은 두 가지가 될 수 있습니다. 첫째, 고정밀 어댑터를 업데이트하여 피팅 용량을 늘림으로써 저비트 Quantization로 인한 성능 저하를 직접 보상할 수 있습니다[421, 423]. 둘째, 작은 어댑터만 튜닝하여 작업별 또는 목표별 LLM의 Fine-tuning을 가볍게 지원할 수 있습니다[419], _예를 들어_ Instruction Tuning 또는 채팅 중심 튜닝을 지원할 수 있습니다. 전반적으로 효과와 훈련 비용 사이의 균형을 잘 맞추고 있어 양자화된 LLM의 성능을 향상시키는 유망한 접근 방식을 제공합니다.
\(\bullet\)_효율적인 미세 조정 강화 양자화는 양자화된 LLM의 성능을 향상시키는 좋은 옵션입니다_[419, 145]. 양자화에서 효율적인 튜닝 방법의 이점은 두 가지가 될 수 있습니다. 첫째, 고정밀 어댑터를 업데이트하여 피팅 용량을 늘림으로써 저비트 양자화로 인한 성능 저하를 직접 보상할 수 있습니다[421, 423]. 둘째, 작은 어댑터만 튜닝하여 작업별 또는 목표별 LLM의 미세 조정을 가볍게 지원할 수 있습니다[419], _예를 들어_ 명령어 튜닝 또는 채팅 중심 튜닝을 지원할 수 있습니다. 전반적으로 효과와 훈련 비용 사이의 균형을 잘 맞추고 있어 양자화된 LLM의 성능을 향상시키는 유망한 접근 방식을 제공합니다.