**Empirical Analysis on Quantization Experiments**. To further help readers understand the impact of quantization on LLMs, we also conduct a group of experiments to investigate the inference performance of quantized models here. Specifically, we focus on the fine-tuned LLMaM models (_i.e.,_ 7B and 13B) using popular SFT datasets, including FLAN-v2 [69], Alpaca-52K [137] and ShareGPT [148]. For evaluation, we utilize the same tasks in Table IX, and follow the quantization settings in the study [423] examining the performance of quantized language models at three precision levels: 4-bit, 8-bit and 16-bit. The results are summarized in Table X. As can be observed from Table X, the results obtained with 8-bit and 4-bit weight quantization are close to the performance of 16-bit models while significantly reducing memory consumption. In practice, it is recommended to first examine the performance of 4-bit weight quantization for LLMs if reducing memory usage is a critical consideration for deployment.
**Quantization 실험에 대한 경험적 분석**. 독자들이 Quantization이 LLMs에 미치는 영향을 더 잘 이해할 수 있도록, 여기서는 Quantized 모델의 추론 성능을 조사하는 일련의 실험을 수행합니다. 특히, FLAN-v2 [69], Alpaca-52K [137] 및 ShareGPT [148]를 비롯한 널리 사용되는 SFT 데이터 세트를 사용하여 Fine-tuning된 LLMaM 모델(_즉_, 7B 및 13B)에 초점을 맞추고 있습니다. 평가를 위해 표 IX에서 동일한 작업을 활용하고, 3개의 정밀도 수준에서 Quantized 언어 모델의 성능을 조사하는 연구 [423]의 Quantization 설정을 따르며, 4-bit, 8-bit, 16-bit의 세 가지 정밀도 수준에서 Quantized 모델의 성능을 평가합니다. 그 결과는 표 X에 요약되어 있습니다. 표 X에서 볼 수 있듯이, 8-bit 및 4-bit Weight Quantization을 사용한 결과는 16-bit 모델의 성능에 근접한 반면 메모리 소비는 크게 줄였습니다. 실제로 배포 시 메모리 사용량을 줄이는 것이 중요한 고려 사항인 경우, LLMs에 대해 4-bit Weight Quantization의 성능을 먼저 검토하는 것이 좋습니다.
**양자화 실험에 대한 경험적 분석**. 독자들이 양자화가 LLM에 미치는 영향을 더 잘 이해할 수 있도록, 여기서는 양자화된 모델의 추론 성능을 조사하는 일련의 실험을 수행합니다. 특히, FLAN-v2 [69], Alpaca-52K [137] 및 ShareGPT [148]를 비롯한 널리 사용되는 SFT 데이터 세트를 사용하여 미세 조정된 LLMaM 모델(_즉_, 7B 및 13B)에 초점을 맞추고 있습니다. 평가를 위해 표 IX에서 동일한 작업을 활용하고, 3개의 정밀도 수준에서 양자화된 언어 모델의 성능을 조사하는 연구 [423]의 양자화 설정을 따르며, 4비트, 8비트, 16비트의 세 가지 정밀도 수준에서 양자화된 모델의 성능을 평가합니다. 그 결과는 표 X에 요약되어 있습니다. 표 X에서 볼 수 있듯이, 8비트 및 4비트 가중치 양자화를 사용한 결과는 16비트 모델의 성능에 근접한 반면 메모리 소비는 크게 줄였습니다. 실제로 배포 시 메모리 사용량을 줄이는 것이 중요한 고려 사항인 경우, LLM에 대해 4비트 가중치 양자화의 성능을 먼저 검토하는 것이 좋습니다.