Figure 6: Correlation between (left): negative Instruct+Answers perplexity and negative web snapshot perplexity, (middle): Downstream accuracy and negative web snapshot perplexity, (right): Downstream accuracy and negative Instruct+Answers perplexity. Each point is one training configuration (1.3B OPT model, 40B tokens), with the only change being the data selection method and pretraining seed. Web snapshot perplexity is slightly negatively correlated with stronger indicators of LM ability.
그림 6: (왼쪽): 음의 Instruct+Answers perplexity와 음의 웹 스냅샷 perplexity, (가운데): Downstream accuracy와 음의 웹 스냅샷 perplexity, (오른쪽): Downstream accuracy와 음의 Instruct+Answers perplexity 사이의 상관관계. 각 점은 데이터 선택 방법과 pretraining seed만 변경된 한 가지 훈련 구성(1.3B OPT 모델, 40B tokens)입니다. 웹 스냅샷 perplexity는 LM 능력의 강력한 지표와 약간 음의 상관관계가 있습니다.
그림 6: (왼쪽): 음의 Instruct+Answers 당황스러움과 음의 웹 스냅샷 당황스러움, (가운데): 다운스트림 정확도와 음의 웹 스냅샷 당황스러움, (오른쪽): 다운스트림 정확도와 음의 Instruct+Answers 당황스러움 사이의 상관관계. 각 점은 데이터 선택 방법과 사전 학습 시드만 변경된 한 가지 훈련 구성(1.3B OPT 모델, 40B 토큰)입니다. 웹 스냅샷 당황스러움은 LM 능력의 강력한 지표와 약간 음의 상관관계가 있습니다.