\(\bullet\)_Bitsandbytes36_ is developed based on the methods introduced in the papers of LLM.int80 [413] and 8-bit optimizers [426]. It focuses on the quantization of both activations and weights for LLMs, including the support on 8-bit and 4-bit (NF4,FP4) matrix multiplication for efficient inference, as well as an 8-bit optimizer for efficient training.
\(\bullet\)_Bitsandbytes36_는 LLM.int80 [413] 및 8-bit optimizers [426]의 논문에 소개된 방법을 기반으로 개발되었습니다. 효율적인 추론을 위해 8-bit 및 4-bit (NF4, FP4) 행렬 곱셈을 지원하는 것뿐만 아니라 효율적인 훈련을 위한 8-bit optimizer를 포함하여 LLM의 활성화 및 가중치 quantization에 중점을 둡니다.
\(\bullet\)_Bitsandbytes36_는 LLM.int80 [413] 및 8비트 최적화 도구 [426]의 논문에 소개된 방법을 기반으로 개발되었습니다. 효율적인 추론을 위해 8비트 및 4비트(NF4,FP4) 행렬 곱셈을 지원하는 것뿐만 아니라 효율적인 훈련을 위한 8비트 최적화 도구를 포함하여 LLM의 활성화 및 가중치 양자화에 중점을 둡니다.