Due to the huge number of model parameters, LLMs take a significant memory footprint for inference, making it very costly to be deployed in real-world applications. In this section, we discuss how to reduce the memory footprint of LLMs via a popular model compression approach (_i.e._, model quantization), so that large-sized LLMs can be used in resource-limited settings, which also likely reduces the inference latency.
모델 파라미터의 수가 엄청나게 많기 때문에 LLM은 추론에 상당한 메모리 공간을 차지하므로 실제 애플리케이션에 배포하는 데 많은 비용이 듭니다. 이 섹션에서는 대규모 LLM을 리소스가 제한된 환경에서 사용할 수 있도록 대중적인 모델 압축 접근 방식(즉, 모델 Quantization)을 통해 LLM의 메모리 사용량을 줄이고 추론 지연 시간도 줄일 수 있는 방법에 대해 설명합니다.
모델 파라미터의 수가 엄청나게 많기 때문에 LLM은 추론에 상당한 메모리 공간을 차지하므로 실제 애플리케이션에 배포하는 데 많은 비용이 듭니다. 이 섹션에서는 대규모 LLM을 리소스가 제한된 환경에서 사용할 수 있도록 대중적인 모델 압축 접근 방식(즉, 모델 양자화)을 통해 LLM의 메모리 사용량을 줄이고 추론 지연 시간도 줄일 수 있는 방법에 대해 설명합니다.