We conduct 4-bit quantization on our model. We do not quantize the parameters of embedding and layer normalization, since the performance of the model is sensitive to these parameters. Therefore, we only need to quantify each weight matrix. Denote the weight matrix as \(\mathbf{W}\in\mathbb{R}^{d_{out}\times d_{in}}\). We group every \(G\) consecutive parameter at the \(d_{in}\) dimension and form \(d_{in}/G\) group. Then we quantize each group of the parameters separately.
모델에 4-bit Quantization을 수행합니다. 임베딩 및 레이어 정규화 매개변수는 모델의 성능이 이러한 매개변수에 민감하기 때문에 Quantization하지 않습니다. 따라서 각 가중치 행렬을 정량화하기만 하면 됩니다. 가중치 행렬을 \(\mathbf{W}\in\mathbb{R}^{d_{out}\times d_{in}}\)로 표시합니다. 연속된 \(G\) 매개변수를 \(d_{in}\) 차원으로 그룹화하여 \(d_{in}/G\) 그룹을 형성합니다. 그런 다음 매개변수의 각 그룹을 개별적으로 Quantization합니다.
모델에 4비트 양자화를 수행합니다. 임베딩 및 레이어 정규화 매개변수는 모델의 성능이 이러한 매개변수에 민감하기 때문에 양자화하지 않습니다. 따라서 각 가중치 행렬을 정량화하기만 하면 됩니다. 가중치 행렬을 \(\mathbf{W}\in\mathbb{R}^{d_{out}\times d_{in}}\)로 표시합니다. 연속된 \(G\) 매개변수를 \(d_{in}\) 차원으로 그룹화하여 \(d_{in}/G\) 그룹을 형성합니다. 그런 다음 매개변수의 각 그룹을 개별적으로 양자화합니다.