* _Mixed-precision decomposition_. As observed in [413], extreme large values occur in hidden activations (called _the emergence of outliers_) when the model size reaches 6.7B parameters or above. Interestingly, these outliers are mainly distributed in some specific feature dimensions at Transformer layers. Based on this finding, a vector-wise quantization approach, called _LLM.int8(0)_, has been proposed in [413], which separates the feature dimensions with outliers and the rest dimensions in matrix multiplication. Then, the calculations for the two parts are performed with _16-bit floating numbers_ and _8-bit integers_, respectively, so as to recover these outliers in a high precision.
* _혼합 정밀도 분해_. [413]에서 관찰된 바와 같이, 모델 크기가 6.7B 파라미터 이상에 도달하면 숨겨진 활성화에서 극단적으로 큰 값이 발생합니다(_이상값의 출현_이라고 함). 흥미롭게도 이러한 이상값은 Transformer 레이어의 일부 특정 특징 차원에 주로 분포합니다. 이러한 발견을 바탕으로 [413]에서 행렬 곱셈에서 이상값이 있는 특징 차원과 나머지 차원을 분리하는 벡터별 Quantization 접근 방식인 _LLM.int8(0)_이 제안되었습니다. 그런 다음 두 부분에 대한 계산은 각각 _16비트 부동 소수점_과 _8비트 정수_로 수행되어 이러한 이상값을 고정밀도로 복구합니다.
* _혼합 정밀도 분해_. [413]에서 관찰된 바와 같이, 모델 크기가 6.7B 파라미터 이상에 도달하면 숨겨진 활성화에서 극단적으로 큰 값이 발생합니다(_이상값의 출현_이라고 함). 흥미롭게도 이러한 이상값은 트랜스포머 레이어의 일부 특정 특징 차원에 주로 분포합니다. 이러한 발견을 바탕으로 [413]에서 행렬 곱셈에서 이상값이 있는 특징 차원과 나머지 차원을 분리하는 벡터별 양자화 접근 방식인 _LLM.int8(0)_이 제안되었습니다. 그런 다음 두 부분에 대한 계산은 각각 _16비트 부동 소수점_과 _8비트 정수_로 수행되어 이러한 이상값을 고정밀도로 복구합니다.