\(\bullet\)_AutoGPTQ38_ is a quantization package developed based on the GPTQ algorithm [417], which supports INT4 quantization for LLMs. It includes a number of quantized models in the library, and supports LoRA by integrating with HuggingFace PFFT library.
\(\bullet\)_AutoGPTQ38_는 GPTQ 알고리즘[417]을 기반으로 개발된 Quantization 패키지로, LLM에 대한 INT4 Quantization을 지원한다. 라이브러리에 다수의 Quantized 모델이 포함되어 있으며, HuggingFace PFFT 라이브러리와의 통합을 통해 LoRA를 지원한다.
\(\bullet\)_AutoGPTQ38_는 GPTQ 알고리즘[417]을 기반으로 개발된 양자화 패키지로, LLM에 대한 INT4 양자화를 지원한다. 라이브러리에 다수의 양자화된 모델이 포함되어 있으며, HuggingFace PFFT 라이브러리와의 통합을 통해 LoRA를 지원한다.