To reduce the quantization loss, we adopt GPTQ (Frantar et al., 2022) to apply weight calibration. We sample calibration data \(\mathbf{X}\) from a similar distribution of SFT data. The quantization objective is to minimize the disturbance of the quantization \(\|\mathbf{W}\mathbf{X}-dequant(\hat{\mathbf{W}})\mathbf{X}\|_{2}^{2}\).
양자화 손실을 줄이기 위해 weight calibration을 적용하기 위해 GPTQ(Frantar et al., 2022)를 채택합니다. 우리는 SFT 데이터와 유사한 분포에서 calibration 데이터를 샘플링합니다. Quantization objective는 양자화의 교란을 최소화하는 것입니다(\|\mathbf{W}\mathbf{X}-dequant(\hat{\mathbf{W}})\mathbf{X}\|_{2}^{2}\).
양자화 손실을 줄이기 위해 가중치 보정을 적용하기 위해 GPTQ(Frantar et al., 2022)를 채택합니다. 양자화 목표는 양자화의 교란을 최소화하는 것입니다(\|\mathbf{W}\mathbf{X}-dequant(\hat{\mathbf{W}})\mathbf{X}\|_{2}^{2}\).