* _Fine-grained quantization_. For Transformer models, weights and activations are usually represented in the form of tensors. A straightforward approach is to use coarse-grained quantization parameters for the whole tensor (_i.e.,_ per-tensor quantization) [414]. However, it usually leads to inaccurate reconstruction results. Thus, fine-grained methods are proposed to reduce the quantization error. ZeroQuant [415] adopts a token-wise quantization approach with dynamic calibration for compressing activations. Whereas for weights (easier to be quantized), it uses a group-wise quantization. In practice, a group size of 128 [415, 416] is commonly used for model quantization. * _Balancing the quantization difficulty_. Considering that weights are easier to be quantized than activations, SmoothQuant [414] proposes to migrate the difficulty from activations to weights. Specially, they incorporate a scaling transformation to balance the difficulty between weights and activations in a linear layer: \(\mathbf{Y}=(\mathbf{X}\text{diag}(\mathbf{s})^{-1})\cdot(\text{diag}(\mathbf{ s})\mathbf{W})\). By introducing an mathematically equivalent transformation, this formula controls the quantization difficulty through the scaling factor \(\mathbf{s}\). To set \(\mathbf{s}\), it incorporates a migration strength parameter \(\alpha\) to balance the difficulties, where each entry \(s_{j}=\max(\mathbf{x}_{j})^{\alpha}/\max(\mathbf{w}_{j})^{(1-\alpha)}\) is determined by the migration strength. * _Layerwise quantization_. This approach finds optimal quantized weights that minimize a layerwise reconstruction loss: \(\arg\min_{\widetilde{\mathbf{W}}}\parallel\mathbf{W}\mathbf{X}-\widetilde{ \mathbf{W}}\mathbf{X}\parallel_{2}^{2}\). To efficiently optimize this objective, GPTQ [417] improves the original optimal brain quantization (OBO) [418] method by fixing the quantization order of weights for all rows. Further, with specially designed methods (_i.e.,_ lazy batch-updates and Cholesky reformulation), GPTQ is feasible to quantize very large models (_e.g.,_ 175B OPT) in 3 or 4 bit precision. More recently, AWQ [416] further simplifies the optimization form by incorporating activation-aware scaling for weights, which resembles the idea of SmoothQuant [414]: weights corresponding to outlier activations are more important to be precisely quantized. It does not directly optimize the reconstruction loss, but instead performs simple hyper-parameter search to achieve the minimal loss on calibration data.
* _Fine-grained Quantization_. Transformer 모델의 경우 가중치와 활성화는 일반적으로 텐서 형태로 표현됩니다. 간단한 접근 방식은 전체 텐서에 대해 조잡한 Quantization 매개변수를 사용하는 것입니다(_즉, 텐서당 Quantization). [414] 그러나 일반적으로 부정확한 재구성 결과를 초래합니다. 따라서 Quantization 오차를 줄이기 위해 세분화된 방법이 제안되었습니다. ZeroQuant [415]는 활성화 압축을 위해 동적 보정을 사용하는 토큰별 Quantization 접근 방식을 채택합니다. 반면에 가중치(Quantization하기 더 쉬운)의 경우 그룹별 Quantization을 사용합니다. 실제로 모델 Quantization에는 일반적으로 그룹 크기 128 [415, 416]이 사용됩니다. * _Quantization 난이도의 균형_. 가중치가 활성화보다 Quantization하기 쉽다는 점을 고려하여 SmoothQuant [414]는 활성화에서 가중치로 난이도를 이동할 것을 제안합니다. 특히, 이들은 선형 레이어에서 가중치와 활성화 사이의 난이도를 균형 있게 맞추기 위해 스케일링 변환을 통합합니다: \(\mathbf{Y}=(\mathbf{X}\text{diag}(\mathbf{s})^{-1})\cdot(\text{diag}(\mathbf{ s})\mathbf{W})\). 수학적으로 동등한 변환을 도입함으로써 이 공식은 스케일링 계수 \(\mathbf{s}\)를 통해 Quantization 난이도를 제어합니다. s\), 이항 \(\alpha\)를 통합하여 난이도를 균형 있게 맞추고, 이항 \(\alpha\)를 통합하여 각 항목 \(s_{j}=\max(\mathbf{x}_{j})^{\alpha}/\max(\mathbf{w}_{j})^{(1-\alpha)}\)는 마이그레이션 강도에 의해 결정됩니다. * _Layerwise Quantization_. 이 접근 방식은 레이어별 재구성 Loss를 최소화하는 최적의 Quantization 가중치를 찾습니다: \(\arg\min_{\widetilde{\mathbf{W}}}\parallel\mathbf{W}\mathbf{X}-\widetilde{ \mathbf{W}}\mathbf{X}\parallel_{2}^{2}\). 이 목적을 효율적으로 최적화하기 위해 GPTQ [417]는 모든 행에 대해 가중치의 Quantization 순서를 고정하여 기존 최적의 브레인 Quantization(OBO) [418] 방법을 개선했습니다. 또한 특별히 설계된 방법(_즉, 지연 배치 업데이트 및 촐레스키 재구성)을 통해 GPTQ는 3비트 또는 4비트 정밀도로 매우 큰 모델(예: 175B OPT)을 Quantization할 수 있습니다. 최근에는 AWQ [416]가 가중치에 대한 활성화 인식 스케일링을 통합하여 최적화 형식을 더욱 단순화하여 SmoothQuant [414]의 아이디어와 유사하게 이상값 활성화에 해당하는 가중치가 정확하게 Quantization되는 것이 더 중요하다는 것을 보여주었습니다. 재구성 Loss를 직접 최적화하지 않고 대신 간단한 하이퍼파라미터 검색을 수행하여 보정 데이터에서 최소 Loss를 달성합니다.
* _미세한 정량화_. 트랜스포머 모델의 경우 가중치와 활성화는 일반적으로 텐서 형태로 표현됩니다. 간단한 접근 방식은 전체 텐서에 대해 조잡한 정량화 매개변수를 사용하는 것입니다(_즉, 텐서당 정량화). [414] 그러나 일반적으로 부정확한 재구성 결과를 초래합니다. 따라서 정량화 오차를 줄이기 위해 세분화된 방법이 제안되었습니다. ZeroQuant [415]는 활성화 압축을 위해 동적 보정을 사용하는 토큰별 정량화 접근 방식을 채택합니다. 반면에 가중치(정량화하기 더 쉬운)의 경우 그룹별 정량화를 사용합니다. 실제로 모델 정량화에는 일반적으로 그룹 크기 128 [415, 416]이 사용됩니다. * _정량화 난이도의 균형_. 가중치가 활성화보다 정량화하기 쉽다는 점을 고려하여 SmoothQuant [414]는 활성화에서 가중치로 난이도를 이동할 것을 제안합니다. 특히, 이들은 선형 레이어에서 가중치와 활성화 사이의 난이도를 균형 있게 맞추기 위해 스케일링 변환을 통합합니다: \(\mathbf{Y}=(\mathbf{X}\text{diag}(\mathbf{s})^{-1})\cdot(\text{diag}(\mathbf{ s})\mathbf{W})\). 수학적으로 동등한 변환을 도입함으로써 이 공식은 스케일링 계수 \(\mathbf{s}\)를 통해 정량화 난이도를 제어합니다. s\), 이항 \(\alpha\)를 통합하여 난이도를 균형 있게 맞추고, 이항 \(\alpha\)를 통합하여 각 항목 \(s_{j}=\max(\mathbf{x}_{j})^{\alpha}/\max(\mathbf{w}_{j})^{(1-\alpha)}\)는 마이그레이션 강도에 의해 결정됩니다. * _레이어별 정량화_. 이 접근 방식은 레이어별 재구성 손실을 최소화하는 최적의 정량화 가중치를 찾습니다: \(\arg\min_{\widetilde{\mathbf{W}}}\parallel\mathbf{W}\mathbf{X}-\widetilde{ \mathbf{W}}\mathbf{X}\parallel_{2}^{2}\). 이 목적을 효율적으로 최적화하기 위해 GPTQ [417]는 모든 행에 대해 가중치의 정량화 순서를 고정하여 기존 최적의 브레인 정량화(OBO) [418] 방법을 개선했습니다. 또한 특별히 설계된 방법(_즉, 지연 배치 업데이트 및 촐레스키 재구성)을 통해 GPTQ는 3비트 또는 4비트 정밀도로 매우 큰 모델(예: 175B OPT)을 정량화할 수 있습니다. 최근에는 AWQ [416]가 가중치에 대한 활성화 인식 스케일링을 통합하여 최적화 형식을 더욱 단순화하여 SmoothQuant [414]의 아이디어와 유사하게 이상값 활성화에 해당하는 가중치가 정확하게 정량화되는 것이 더 중요하다는 것을 보여주었습니다. 재구성 손실을 직접 최적화하지 않고 대신 간단한 하이퍼파라미터 검색을 수행하여 보정 데이터에서 최소 손실을 달성합니다.