Figure 5: **Left**: Train-test similarity across validation sets. X-axis denotes the name of the validation set (refer to Section 3.4 for more information about each validation set), and y-axis denotes the cosine distance to the nearest neighbor in the training set for the 1.3B OPT 40B baseline (the green triangle denotes mean, and the yellow bar denotes median). We observe that web-snapshots validation sets are closest to points in the training set. **Right**: Analysis of the C4 validation set. (Top): Histogram of cosine distance to nearest neighbor in train. For each bin, we show the mean original perplexity (middle) and mean difference in perplexity after data selection (bottom). “Easy” (low original ppl) points close to the training set are generally the points most affected by data selection.
그림 5: **Left**: 검증 세트 간 Train-test 유사도. X축은 유효성 검사 세트의 이름을 나타내고(각 유효성 검사 세트에 대한 자세한 내용은 섹션 3.4를 참조하세요), Y축은 1.3B OPT 40B baseline의 훈련 세트에서 가장 가까운 이웃과의 cosine distance를 나타냅니다(녹색 삼각형은 평균을 나타내고 노란색 막대는 중앙값을 나타냅니다). 웹 스냅샷 유효성 검사 세트가 훈련 세트의 포인트에 가장 가깝다는 것을 알 수 있습니다. **Right**: C4 유효성 검사 세트 분석. (위): 훈련에서 가장 가까운 이웃까지의 cosine distance 히스토그램입니다. 각 빈에 대해 원래 perplexity의 평균(가운데)과 데이터 선택 후 perplexity의 평균 차이(아래쪽)를 표시합니다. 일반적으로 훈련 세트에 가까운 "쉬운"(원래 ppl이 낮은) 점은 데이터 선택의 영향을 가장 많이 받는 점입니다.
그림 5: 왼쪽**: 검증 세트 간 훈련-테스트 유사도. X축은 유효성 검사 세트의 이름을 나타내고(각 유효성 검사 세트에 대한 자세한 내용은 섹션 3.4를 참조하세요), Y축은 1.3B OPT 40B 기준선의 훈련 세트에서 가장 가까운 이웃과의 코사인 거리를 나타냅니다(녹색 삼각형은 평균을 나타내고 노란색 막대는 중앙값을 나타냅니다). 웹 스냅샷 유효성 검사 세트가 훈련 세트의 포인트에 가장 가깝다는 것을 알 수 있습니다. **오른쪽**: C4 유효성 검사 세트 분석. (위): 훈련에서 가장 가까운 이웃까지의 코사인 거리 히스토그램입니다. 각 빈에 대해 원래 난해도의 평균(가운데)과 데이터 선택 후 난해도의 평균 차이(아래쪽)를 표시합니다. 일반적으로 훈련 세트에 가까운 "쉬운"(원래 ppl이 낮은) 점은 데이터 선택의 영향을 가장 많이 받는 점입니다.