The quantization level is strictly bound to the memory usage and inference speed, and thus a trade-off must be made when choosing a proper quantization level. As we can see, the 8-bit quantization method has almost the same or even lower perplexities compared to the original FP16 model, demonstrating that it is a good choice for deploying LLMs on personal computers, with only half size of the FP16 one. The 6-bit models also achieve decent PPLs comparable to the 8-bit one, making it a better balance of speed and performance. When we use a more aggressive quantization level, the performance drastically decreases (i.e., higher PPL), especially for 3-bit and 2-bit. We also discover that larger models are less sensitive to quantization methods than smaller ones. For example, the performance of 33B models changes much more mildly than the others. A similar result is also observed when comparing Plus-7B and Plus-13B models. This might indicate that though 2-bit and 3-bit quantization are less effective for smaller models, it might be a promising way to deploy larger models without significant performance loss. This is extremely helpful when the users only have limited computing resources and still want to try large language models. This might also imply that the quantized training method may become a main-stream approach for training large language models, especially for those with limited training resources.
양자화 수준은 메모리 사용량과 추론 속도에 엄격하게 제한되므로 적절한 quantization 수준을 선택할 때 절충안을 찾아야 합니다. 보시다시피 8-bit quantization 방식은 원래 FP16 모델과 비교했을 때 거의 동일하거나 심지어 더 낮은 perplexity를 가지고 있어 FP16 모델의 절반 크기만으로 개인용 컴퓨터에 LLM을 배포하는 데 좋은 선택임을 보여줍니다. 6-bit 모델도 8-bit 모델과 비슷한 수준의 뛰어난 PPL을 달성하여 속도와 성능의 균형이 더 잘 잡혀 있습니다. 더 공격적인 quantization 수준을 사용하면 특히 3-bit와 2-bit의 경우 성능이 급격히 저하됩니다(즉, PPL이 높아짐). 또한 더 큰 모델이 더 작은 모델보다 quantization 방식에 덜 민감하다는 것을 발견했습니다. 예를 들어, 33B 모델의 성능은 다른 모델보다 훨씬 온화하게 변화합니다. Plus-7B와 Plus-13B 모델을 비교할 때도 비슷한 결과가 관찰됩니다. 이는 2-bit 및 3-bit quantization이 소형 모델에는 덜 효과적이지만, 성능 손실 없이 대형 모델을 배포하는 데 유망한 방법이 될 수 있음을 나타냅니다. 이는 사용자가 제한된 컴퓨팅 리소스만 가지고 있지만 여전히 대규모 언어 모델을 사용하고자 할 때 매우 유용합니다. 또한 quantized training 방법이 특히 제한된 훈련 리소스를 가진 대규모 언어 모델을 훈련하는 데 주류 접근 방식이 될 수 있음을 의미할 수도 있습니다.
양자화 수준은 메모리 사용량과 추론 속도에 엄격하게 제한되므로 적절한 양자화 수준을 선택할 때 절충안을 찾아야 합니다. 보시다시피 8비트 양자화 방식은 원래 FP16 모델과 비교했을 때 거의 동일하거나 심지어 더 낮은 난해성을 가지고 있어 FP16 모델의 절반 크기만으로 개인용 컴퓨터에 LLM을 배포하는 데 좋은 선택임을 보여줍니다. 6비트 모델도 8비트 모델과 비슷한 수준의 뛰어난 PPL을 달성하여 속도와 성능의 균형이 더 잘 잡혀 있습니다. 더 공격적인 양자화 수준을 사용하면 특히 3비트와 2비트의 경우 성능이 급격히 저하됩니다(즉, PPL이 높아짐). 또한 더 큰 모델이 더 작은 모델보다 양자화 방식에 덜 민감하다는 것을 발견했습니다. 예를 들어, 33B 모델의 성능은 다른 모델보다 훨씬 온화하게 변화합니다. Plus-7B와 Plus-13B 모델을 비교할 때도 비슷한 결과가 관찰됩니다. 이는 2비트 및 3비트 양자화가 소형 모델에는 덜 효과적이지만, 성능 손실 없이 대형 모델을 배포하는 데 유망한 방법이 될 수 있음을 나타냅니다. 이는 사용자가 제한된 컴퓨팅 리소스만 가지고 있지만 여전히 대규모 언어 모델을 사용하고자 할 때 매우 유용합니다. 또한 양자화 훈련 방법이 특히 제한된 훈련 리소스를 가진 대규모 언어 모델을 훈련하는 데 주류 접근 방식이 될 수 있음을 의미할 수도 있습니다.