Quantization has currently become a common technique to reduce the memory footprint and latency of LLMs in deployment. In particular, it is important to understand what level of precision (_e.g.,_ INT8 or INT4) can be applied to quantize different parts of LLMs (_e.g.,_ weights or activations), while retaining a high accuracy. In this part, we first summarize the major findings about the quantization of LLMs in existing literature, and then present some empirical analysis with quantization experiments.
양자화는 현재 배포 시 LLM의 메모리 사용량과 지연 시간을 줄이는 일반적인 기술이 되었습니다. 특히, 높은 정확도를 유지하면서 LLM의 여러 부분(예: 가중치 또는 활성화)을 quantize하는 데 어떤 수준의 정밀도(예: INT8 또는 INT4)를 적용할 수 있는지 이해하는 것이 중요합니다. 이 부분에서는 먼저 기존 문헌에서 LLM의 quantization에 대한 주요 연구 결과를 요약한 다음 quantization 실험을 통해 몇 가지 경험적 분석을 제시합니다.
양자화는 현재 배포 시 LLM의 메모리 사용량과 지연 시간을 줄이는 일반적인 기술이 되었습니다. 특히, 높은 정확도를 유지하면서 LLM의 여러 부분(예: 가중치 또는 활성화)을 양자화하는 데 어떤 수준의 정밀도(예: INT8 또는 INT4)를 적용할 수 있는지 이해하는 것이 중요합니다. 이 부분에서는 먼저 기존 문헌에서 LLM의 양자화에 대한 주요 연구 결과를 요약한 다음 양자화 실험을 통해 몇 가지 경험적 분석을 제시합니다.