**Quantized LLMs**. Compared with original models, quantized language models take a smaller memory footprint, and likely have a faster inference speed [427, 93, 413]. Recently, a number of quantized model copies of several publicly available language models have been released on HuggingFace, including BLOOM, GPT-J, and ChatGLM. In particular, GPTQ [417] has been widely used to quantize generative language models, leading to various quantized variants for LLMaM and OPT. Further, it has been also applied to quantize instruction-tuned models, such as Vicuna and WizardLM. Due to the large number of quantized LLMs, we do not directly incorporate the corresponding links of these models. The readers can easily find them by searching on HuggingFace.
**Quantized LLMs**. 원본 모델과 비교했을 때, quantized language models는 더 적은 메모리 공간을 차지하며 추론 속도가 더 빠를 가능성이 높습니다[427, 93, 413]. 최근에는 BLOOM, GPT-J, ChatGLM 등 여러 공개 언어 모델의 quantized 모델 복사본이 HuggingFace에 공개되었습니다. 특히, GPTQ [417]는 생성 언어 모델을 quantize하는 데 널리 사용되어 LLMaM과 OPT용 다양한 quantized 변형을 이끌었습니다. 또한, Vicuna 및 WizardLM과 같은 Instruction-tuned 모델을 quantize하는 데에도 적용되었습니다. quantized LLM의 수가 많기 때문에 이러한 모델의 해당 링크를 직접 포함하지는 않았습니다. 독자들은 HuggingFace에서 검색하여 쉽게 찾을 수 있습니다.
**양자화된 LLM**. 원본 모델과 비교했을 때, 양자화된 언어 모델은 더 적은 메모리 공간을 차지하며 추론 속도가 더 빠를 가능성이 높습니다[427, 93, 413]. 최근에는 BLOOM, GPT-J, ChatGLM 등 여러 공개 언어 모델의 양자화된 모델 복사본이 HuggingFace에 공개되었습니다. 특히, GPTQ [417]는 생성 언어 모델을 양자화하는 데 널리 사용되어 LLMaM과 OPT용 다양한 양자화 변형을 이끌었습니다. 또한, Vicuna 및 WizardLM과 같은 명령어 튜닝 모델을 양자화하는 데에도 적용되었습니다. 양자화된 LLM의 수가 많기 때문에 이러한 모델의 해당 링크를 직접 포함하지는 않았습니다. 독자들은 HuggingFace에서 검색하여 쉽게 찾을 수 있습니다.