Unfortunately, using this quantization package, reducing the model to int4 significantly diminishes its capacity (more than 2x loss from int8 to int4). This suggests for high-quality int4 models, incorporating quantization during training may be necessary.
안타깝게도 이 quantization 패키지를 사용하여 모델을 int4로 축소하면 성능이 현저히 저하됩니다(int8에서 int4로 2배 이상 손실됨). 이는 고품질 int4 모델의 경우 훈련 중에 quantization을 통합해야 할 수 있음을 시사합니다.
안타깝게도 이 양자화 패키지를 사용하여 모델을 int4로 축소하면 성능이 현저히 저하됩니다(int8에서 int4로 2배 이상 손실됨). 이는 고품질 int4 모델의 경우 훈련 중에 양자화를 통합해야 할 수 있음을 시사합니다.