Reducing input dimensionality.When stored on disk in 32-bit precision, 10 million probability vectors for a vocabulary of size of \(32,000\) take up 1.28 TB. Is it necessary to retain the full dimensionality of these input vectors? Surprisingly, Table 9 (Right) indicates that the majority of the probability vector is required to achieve good inversion performance. Even though the top 1000 predicted tokens contain \(98\%\) of the probability mass on average, training and evaluating with only the top \(1000\) tokens reduces performance by \(45\%\).
입력 차원을 줄입니다. 32-bit 정밀도로 디스크에 저장할 경우, 32,000 크기의 어휘에 대한 10 million 확률 벡터는 1.28TB를 차지합니다. 이러한 입력 벡터의 전체 차원을 유지해야 하나요? 놀랍게도 표 9(오른쪽)에 따르면 좋은 반전 성능을 달성하기 위해서는 확률 벡터의 대부분이 필요합니다. 예측된 상위 1000개 토큰에 평균적으로 확률 질량의 98%가 포함되어 있지만, 상위 1000개 토큰만으로 훈련 및 평가하면 성능이 45% 감소합니다.
입력 차원을 줄입니다. 32비트 정밀도로 디스크에 저장할 경우, 32,000 크기의 어휘에 대한 1,000만 개의 확률 벡터는 1.28TB를 차지합니다. 이러한 입력 벡터의 전체 차원을 유지해야 하나요? 놀랍게도 표 9(오른쪽)에 따르면 좋은 반전 성능을 달성하기 위해서는 확률 벡터의 대부분이 필요합니다. 예측된 상위 1000개 토큰에 평균적으로 확률 질량의 98\%가 포함되어 있지만, 상위 1000개 토큰만으로 훈련 및 평가하면 성능이 45\% 감소합니다.