There are generally two major model quantization approaches, namely _quantization-aware training_ (_QAT_) (requiring additional full model retraining) and _post-training quantization_ (_PTQ_) (requires no model retraining). Compared with small-sized language models, two major differences need to be considered when designing or selecting quantization methods for LLMs. Firstly, LLMs consist of a huge number of parameters, and thus PTQ methods are more preferred due to a much lower computational cost than QAT methods. Secondly, LLMs exhibit very different activation patterns (_i.e._, large outlier features), and it becomes more difficult to quantize LLMs, especially hidden activations. Next, we will briefly review several representative PTQ methods35 for LLMs.
일반적으로 두 가지 주요 모델 Quantization 접근 방식, 즉 Quantization-aware training (_QAT_) (추가 전체 모델 재교육 필요)과 Post-training quantization (_PTQ_) (모델 재교육 필요 없음)가 있습니다. 소규모 언어 모델과 비교했을 때, LLM을 위한 Quantization 방법을 설계하거나 선택할 때 고려해야 할 두 가지 주요 차이점이 있습니다. 첫째, LLM은 엄청나게 많은 수의 파라미터로 구성되어 있으므로 QAT 방법보다 훨씬 낮은 계산 비용으로 인해 PTQ 방법이 더 선호됩니다. 둘째, LLM은 매우 다른 활성화 패턴(즉, 큰 이상값 특징)을 보이며, 특히 숨겨진 활성화를 Quantize하기가 더 어려워집니다. 다음에서는 LLM에 대한 몇 가지 대표적인 PTQ 방법을 간략하게 검토하겠습니다.
일반적으로 두 가지 주요 모델 양자화 접근 방식, 즉 양자화 인식 훈련(_QAT_)(_추가 전체 모델 재교육 필요)과 사후 훈련 양자화(_PTQ_)(_모델 재교육 필요 없음)가 있습니다. 소규모 언어 모델과 비교했을 때, LLM을 위한 양자화 방법을 설계하거나 선택할 때 고려해야 할 두 가지 주요 차이점이 있습니다. 첫째, LLM은 엄청나게 많은 수의 파라미터로 구성되어 있으므로 QAT 방법보다 훨씬 낮은 계산 비용으로 인해 PTQ 방법이 더 선호됩니다. 둘째, LLM은 매우 다른 활성화 패턴(즉, 큰 이상값 특징)을 보이며, 특히 숨겨진 활성화를 양자화하기가 더 어려워집니다. 다음에서는 LLM에 대한 몇 가지 대표적인 PTQ 방법35를 간략하게 검토하겠습니다.