Breaking symmetry with quantized weights.Large production models are typically stored "quantized", where each weight is represented in just 4 or 8 bits. In principle, this quantization could allow an adversary to recover a nearly bit-for-bit copy of the matrix \(\mathbf{W}\): while there exist an infinite number of matrices \(\mathbf{W}\cdot\mathbf{G}\), only one will be discretized properly. Unfortunately, this integer-constrained problem is NP-hard in general (similar problems are the foundation for an entire class of public key cryptosystems). But this need not imply that the problem is hard on all instances.
양자화된 가중치로 대칭을 깨는 것. 대규모 프로덕션 모델은 일반적으로 각 가중치가 4비트 또는 8비트로만 표현되는 "quantized"된 상태로 저장됩니다. 원칙적으로 이러한 quantization을 통해 공격자는 행렬 \(\mathbf{W}\)의 거의 비트 단위 복사본을 복구할 수 있습니다. 무한한 수의 행렬 \(\mathbf{W}\cdot\mathbf{G}\)가 존재하지만, 단 하나만이 적절하게 디스크리타이징됩니다. 안타깝게도 이 정수 제약 문제는 일반적으로 NP-hard입니다(유사한 문제는 전체 공개 키 암호 시스템의 기초가 됩니다). 하지만 이것이 모든 인스턴스에서 문제가 어렵다는 것을 의미하지는 않습니다.
양자화된 가중치로 대칭을 깨는 것.대규모 프로덕션 모델은 일반적으로 각 가중치가 4비트 또는 8비트로만 표현되는 "양자화"된 상태로 저장됩니다. 원칙적으로 이러한 양자화를 통해 공격자는 행렬 \mathbf{W}\)의 거의 비트 단위 복사본을 복구할 수 있습니다. 무한한 수의 행렬 \mathbf{W}\cdot\mathbf{G}가 존재하지만, 단 하나만이 적절하게 디스크리타이징됩니다. 안타깝게도 이 정수 제약 문제는 일반적으로 NP-하드입니다(유사한 문제는 전체 공개 키 암호 시스템의 기초가 됩니다). 하지만 이것이 모든 인스턴스에서 문제가 어렵다는 것을 의미하지는 않습니다.