We have trained and tested models using (mixed precision) 16-bit floats. What happens if we quantize them to int8/int4 after training? We used the auto_gptq package, which is inspired by the GPTQ paper [10], for quantization.
(혼합 정밀도) 16-bit floats를 사용하여 모델을 훈련하고 테스트했습니다. 훈련 후 int8/int4로 Quantization하면 어떻게 될까요? Quantization을 위해 GPTQ 논문 [10]에서 영감을 받은 auto_gptq 패키지를 사용했습니다.
(혼합 정밀도) 16비트 부동 소수점을 사용하여 모델을 훈련하고 테스트했습니다. 훈련 후 int8/int4로 양자화하면 어떻게 될까요? 양자화를 위해 GPTQ 논문 [10]에서 영감을 받은 auto_gptq 패키지를 사용했습니다.