Given that some of our validation sets are extremely close to the training set, we question whether they are still strong indicators of generalization. In fact, in Figure 6, we find evidence of a slight inverse relationship between perplexity on web snapshots and more robust indicators of LM ability, such as perplexity on instruction-tuned datasets and downstream accuracy. In contrast, we observe that perplexity on Instruct+Answers is positively correlated with downstream accuracy, suggesting that validation perplexity on instruction tuned data is a better measure of model quality. For this reason, we group most of our results in Section 4 into Web Snapshots and Non-web Snapshots (which consists of Web-Derived + Web-Independent from Figure 5, see Section A.1.4 for a full-list of validation set names).
일부 validation set이 training set에 매우 근접해 있다는 점을 감안할 때, 이러한 set이 여전히 일반화의 강력한 지표인지 의문입니다. 실제로 그림 6에서 웹 스냅샷의 perplexity와 instruction-tuned 데이터 세트의 perplexity 및 downstream accuracy와 같은 LM 능력의 더 강력한 지표 사이에 약간의 역의 관계가 있는 증거를 발견했습니다. 반면, Instruct+Answers의 perplexity는 downstream accuracy와 양의 상관관계를 보이는데, 이는 instruction-tuned 데이터의 validation perplexity가 모델 품질을 더 잘 측정한다는 것을 시사합니다. 이러한 이유로 섹션 4의 대부분의 결과를 웹 스냅샷과 비웹 스냅샷(그림 5의 Web-Derived + Web-Independent로 구성되며, validation set 이름의 전체 목록은 섹션 A.1.4 참조)으로 그룹화했습니다.
일부 유효성 검사 집합이 훈련 집합에 매우 근접해 있다는 점을 감안할 때, 이러한 집합이 여전히 일반화의 강력한 지표인지 의문입니다. 실제로 그림 6에서 웹 스냅샷의 당혹감과 명령어 튜닝된 데이터 세트의 당혹감 및 다운스트림 정확도와 같은 LM 능력의 더 강력한 지표 사이에 약간의 역의 관계가 있는 증거를 발견했습니다. 반면, 명령어 + 답변의 당혹감은 다운스트림 정확도와 양의 상관관계를 보이는데, 이는 명령어 튜닝된 데이터의 유효성 검사 당혹감이 모델 품질을 더 잘 측정한다는 것을 시사합니다. 이러한 이유로 섹션 4의 대부분의 결과를 웹 스냅샷과 비웹 스냅샷(그림 5의 웹 파생 + 웹 독립으로 구성되며, 유효성 검사 집합 이름의 전체 목록은 섹션 A.1.4 참조)으로 그룹화했습니다.