Figure A11: (Top): Histogram of cosine distance to nearest neighbor in train. Within each bin, we show the mean original perplexity (middle) and mean difference in perplexity after data selection (bottom), for DM_Mathematics (left), OpenSubtitles(middle), and C4 (right). We note that points in the C4 validation set closest to the training set are both “easy” (perhaps because of proximity to training points) and are affected the most by data selection. We do not see this trend for non-web snapshot validation sets such as DM_Mathematics and OpenSubtitles.
그림 A11: (위): 훈련에서 가장 가까운 이웃까지의 cosine distance의 히스토그램. 각 빈 내에서 DM_Mathematics(왼쪽), OpenSubtitles(가운데), C4(오른쪽)에 대해 원래 perplexity의 평균(가운데)과 데이터 선택 후 perplexity의 평균 차이(아래쪽)를 표시합니다. C4 validation set에서 훈련 집합에 가장 가까운 점은 "쉬운" 점(아마도 훈련 점에 가까워서)이며 데이터 선택의 영향을 가장 많이 받습니다. DM_Mathematics 및 OpenSubtitles와 같은 비웹 스냅샷 validation set에서는 이러한 추세를 볼 수 없습니다.
그림 A11: (위): 훈련에서 가장 가까운 이웃까지의 코사인 거리의 히스토그램. 각 빈 내에서 DM_Mathematics(왼쪽), OpenSubtitles(가운데), C4(오른쪽)에 대해 원래 난해도의 평균(가운데)과 데이터 선택 후 난해도의 평균 차이(아래쪽)를 표시합니다. C4 유효성 검사 집합에서 훈련 집합에 가장 가까운 점은 "쉬운" 점(아마도 훈련 점에 가까워서)이며 데이터 선택의 영향을 가장 많이 받습니다. DM_Mathematics 및 OpenSubtitles와 같은 비웹 스냅샷 유효성 검사 집합에서는 이러한 추세를 볼 수 없습니다.