Evaluating perplexity directly on the benchmark model incurs significant costs, as the inference requires approximately 25% of the training compute. To minimize this cost, we employ Pythia-70m as a surrogate model for computing document perplexity. Our preliminary experiment using a sample dataset reveals a strong correlation of 0.97 between the perplexity obtained from Pythia-1B and Pythia-70m. This high correlation justifies the use of a smaller model as a reliable surrogate, enabling more cost-effective sampling based on perplexity.
벤치마크 모델에서 직접 Perplexity를 평가하면 추론에 약 25%의 훈련 컴퓨팅이 필요하기 때문에 상당한 비용이 발생합니다. 이러한 비용을 최소화하기 위해 문서 Perplexity를 계산하기 위한 대리 모델로 Pythia-70m을 사용합니다. 샘플 데이터 세트를 사용한 예비 실험 결과, Pythia-1B와 Pythia-70m에서 얻은 Perplexity 사이에 0.97의 강한 상관관계가 있는 것으로 나타났습니다. 이러한 높은 상관관계는 더 작은 모델을 신뢰할 수 있는 대리 모델로 사용할 수 있음을 정당화하며, 이를 통해 Perplexity를 기반으로 보다 비용 효율적인 샘플링이 가능합니다.
벤치마크 모델에서 직접 당혹감을 평가하면 추론에 약 25%의 훈련 컴퓨팅이 필요하기 때문에 상당한 비용이 발생합니다. 이러한 비용을 최소화하기 위해 문서 당혹도를 계산하기 위한 대리 모델로 Pythia-70m을 사용합니다. 샘플 데이터 세트를 사용한 예비 실험 결과, Pythia-1B와 Pythia-70m에서 얻은 당혹도 사이에 0.97의 강한 상관관계가 있는 것으로 나타났습니다. 이러한 높은 상관관계는 더 작은 모델을 신뢰할 수 있는 대리 모델로 사용할 수 있음을 정당화하며, 이를 통해 당혹도를 기반으로 보다 비용 효율적인 샘플링이 가능합니다.