While we observe consistent _average_ perplexity improvements, Section A.3 demonstrates that this perplexity improvement varies greatly across validation sets. More importantly, data selection always impairs performance on web snapshot validation sets such as CC-dedup, CommonCrawl, and C4. To investigate why this occurs, we embed each validation set into the same embedding space as the training set and search for the nearest neighbors to validation points in the training set for our 1.3B baseline model. In the left plot of Figure 5, we show that validation sets drawn from the same distribution as web-snapshots are closer to training set compared to other validation sets, while the right plot of Figure 5 shows that data selection disproportionately affects these web-snapshot validation sets: on the top-right plot, we see that web validation sets reside in regions of the embedding space which are sparsified as a result of data selection (e.g. regions of space close to cluster centroids in the training set), and in the bottom-right plot we see that these points are also the most affected by data selection, since their perplexity after data selection significantly increases. Moreover, the middle-right plot shows that these validation points have the lowest perplexity before pruning indicating that these points are "easy" points, perhaps due to their proximity to the training set.
일관된 _평균_ perplexity 개선을 관찰하는 반면, 섹션 A.3에서는 이러한 perplexity 개선이 검증 세트마다 크게 다르다는 것을 보여줍니다. 더 중요한 것은 데이터 선택이 항상 CC-dedup, CommonCrawl 및 C4와 같은 웹 스냅샷 유효성 검사 세트의 성능을 손상시킨다는 것입니다. 이러한 현상이 발생하는 이유를 조사하기 위해 각 유효성 검사 세트를 훈련 세트와 동일한 embedding 공간에 포함시키고 1.3B baseline 모델에 대해 훈련 세트에서 유효성 검사 지점에 가장 가까운 이웃을 검색합니다. 그림 5의 왼쪽 plot에서는 웹 스냅샷과 동일한 분포에서 추출한 유효성 검사 세트가 다른 유효성 검사 세트에 비해 훈련 세트에 더 가깝다는 것을 보여주고, 그림 5의 오른쪽 plot에서는 데이터 선택이 이러한 웹 스냅샷 유효성 검사 세트에 불균형하게 영향을 미친다는 것을 보여줍니다. 오른쪽 상단 plot에서는 웹 유효성 검사 세트가 embedding 공간의 희소화된 영역(예: 훈련 세트의 클러스터 중심에 가까운 공간 영역)에 위치하고 있으며, 오른쪽 하단 plot에서는 데이터 선택 후 perplexity가 크게 증가하기 때문에 이러한 점들이 데이터 선택의 영향을 가장 많이 받는다는 것을 알 수 있습니다. 또한 가운데 오른쪽 plot은 이러한 유효성 검사 점이 가장 낮은 perplexity를 가지고 있다는 것을 보여주며, 이는 이러한 점들이 훈련 세트에 가까워서 "쉬운" 점일 수 있음을 나타냅니다.
일관된 _평균_ 난해성 개선을 관찰하는 반면, 섹션 A.3에서는 이러한 난해성 개선이 검증 세트마다 크게 다르다는 것을 보여줍니다. 더 중요한 것은 데이터 선택이 항상 CC-dedup, CommonCrawl 및 C4와 같은 웹 스냅샷 유효성 검사 세트의 성능을 손상시킨다는 것입니다. 이러한 현상이 발생하는 이유를 조사하기 위해 각 유효성 검사 세트를 훈련 세트와 동일한 임베딩 공간에 포함시키고 1.3B 기준 모델에 대해 훈련 세트에서 유효성 검사 지점에 가장 가까운 이웃을 검색합니다. 그림 5의 왼쪽 플롯에서는 웹 스냅샷과 동일한 분포에서 추출한 유효성 검사 세트가 다른 유효성 검사 세트에 비해 훈련 세트에 더 가깝다는 것을 보여주고, 그림 5의 오른쪽 플롯에서는 데이터 선택이 이러한 웹 스냅샷 유효성 검사 세트에 불균형하게 영향을 미친다는 것을 보여줍니다. 오른쪽 상단 플롯에서는 웹 유효성 검사 세트가 임베딩 공간의 희소화된 영역(예: 훈련 세트의 클러스터 중심에 가까운 공간 영역)에 위치하고 있으며, 오른쪽 하단 플롯에서는 데이터 선택 후 난해성이 크게 증가하기 때문에 이러한 점들이 데이터 선택의 영향을 가장 많이 받는다는 것을 알 수 있습니다. 또한 가운데 오른쪽 플롯은 이러한 유효성 검사 점이 가장 낮은 난해성을 가지고 있다는 것을 보여주며, 이는 이러한 점들이 훈련 세트에 가까워서 "쉬운" 점일 수 있음을 나타냅니다.