In Figure A11, we observe an interesting trend: for web-snapshot validation sets such as C4, the validation points closest to the training set are both (1) the easiest (lowest perplexity) points before data selection and (2) the points most affected by data selection. This seems to indicate that these validation points are "easy" due to their proximity to training points, and when these training points are removed from the training set due to data selection, the close-by validation points become difficult for the model. We do not see this trend on non-web snapshot validation sets such as DM Mathematics and Open Subtitles; in fact, we see an opposite trend where points furthest from the training set are generally most affected by data selection.
그림 A11에서 C4와 같은 웹 스냅샷 validation 세트의 경우, 훈련 세트에 가장 가까운 validation 지점이 (1) 데이터 선택 전 가장 쉬운 (가장 낮은 perplexity) 지점이고 (2) 데이터 선택의 영향을 가장 많이 받는 지점이라는 흥미로운 추세를 관찰할 수 있습니다. 이는 이러한 validation 지점이 훈련 지점에 가까워서 "쉬운" 지점이며, 데이터 선택으로 인해 훈련 세트에서 이러한 훈련 지점이 제거되면 근처에 있는 validation 지점이 모델에 어려워진다는 것을 나타내는 것으로 보입니다. DM Mathematics 및 Open Subtitles와 같은 웹 스냅샷이 아닌 validation 세트에서는 이러한 추세를 볼 수 없으며, 실제로 훈련 세트에서 가장 멀리 떨어진 지점이 일반적으로 데이터 선택의 영향을 가장 많이 받는다는 반대의 추세를 볼 수 있습니다.
그림 A11에서 C4와 같은 웹 스냅샷 유효성 검사 세트의 경우, 훈련 세트에 가장 가까운 유효성 검사 지점이 (1) 데이터 선택 전 가장 쉬운(퍼플렉시티가 가장 낮은) 지점이고 (2) 데이터 선택의 영향을 가장 많이 받는 지점이라는 흥미로운 추세를 관찰할 수 있습니다. 이는 이러한 유효성 검사 지점이 훈련 지점에 가까워서 "쉬운" 지점이며, 데이터 선택으로 인해 훈련 세트에서 이러한 훈련 지점이 제거되면 근처에 있는 유효성 검사 지점이 모델에 어려워진다는 것을 나타내는 것으로 보입니다. DM 수학 및 오픈 자막과 같은 웹 스냅샷이 아닌 유효성 검사 세트에서는 이러한 추세를 볼 수 없으며, 실제로 훈련 세트에서 가장 멀리 떨어진 지점이 일반적으로 데이터 선택의 영향을 가장 많이 받는다는 반대의 추세를 볼 수 있습니다.