본 개시 는 디지털 하드웨어 시스템 의 연산 량 과 메모리 사용량 및 전력 소모 를 감소 시키 기 위해 , 관련 연산 에 사용 되 는 파라미터 의 데이터 표현 크기 를 비트 단위 로 감소 시키 는 양자 화 방법 과 시스템 의 다양 한 실시 예 들 을 제공 한다 . 일부 실시 예 에서 , 본 개시 의 비트 양자 화 방법 과 시스템 은 , 인공 신경망 의 연산 에 사용 되 는 파라미터 의 크기 를 비트 단위 로 감소 시킬 수 있 다 . 일반 적 으로 인공 신경망 의 연산 에 는 32 비트 , 16 비트 , 또는 8 비트 단위 의 데이터 구조 ( 예 를 들 어 , CPU , GPU , 메모리 , 캐쉬 , 버퍼 등 ) 를 사용 한다 . 따라서 , 본 개시 의 양자 화 방법 과 시스템 은 인공 신경망 의 연산 에 사용 되 는 파라미터 의 크기 를 32 , 16 , 8 비트 이외 의 다른 비트 로 감소 시킬 수 있 다 . 더욱이 인공 신경망 의 각각 의 파라미터 또는 각각 의 파라미터 의 그룹 에게 특정 비트 수 를 개별 적 으로 상이 하 게 할당 할 수 있 다 .