In this section, we investigate the effect of different quantization methods. We use llama.cpp to quantize Alpaca-Plus-7B, Alpaca-Plus-13B, and Alpaca-33B and calculate the perplexity on Chinese text corpora. We quantize these models into 2-bit, 3-bit, 4-bit, 5-bit, 6-bit, and 8-bit forms to compare with the original FP16 one.10 The results are shown in Figure 4.
이 섹션에서는 다양한 quantization 방법의 효과를 조사합니다. llama.cpp를 사용하여 Alpaca-Plus-7B, Alpaca-Plus-13B, 그리고 Alpaca-33B를 quantize하고 중국어 텍스트 코퍼스에서 perplexity를 계산합니다. 이러한 모델을 2-bit, 3-bit, 4-bit, 5-bit, 6-bit 및 8-bit 형식으로 quantize하여 기존 FP16과 비교합니다. 결과는 그림 4에 나와 있습니다.
이 섹션에서는 다양한 양자화 방법의 효과를 조사합니다. llama.cpp를 사용하여 알파카 플러스-7B, 알파카 플러스-13B, 알파카-33B를 양자화하고 중국어 텍스트 코퍼스에서 당혹감을 계산합니다. 이러한 모델을 2비트, 3비트, 4비트, 5비트, 6비트 및 8비트 형식으로 양자화하여 기존 FP16과 비교합니다.10 결과는 그림 4에 나와 있습니다.