As briefly described in Section 4.4, we observe that many of our validation sets are close (in cosine distance) to our training sets, and the impact of data selection is varies across individual validation sets. Individual validation sets live in different regions of the embedding space, and as such they are affected differently by data selection. For example, one could imagine that web-snapshot validation sets such as C4 is close to CC-dedup in the embedding space, while esoteric validation sets (such as Gutenberg PG 19 or DM Mathematics) might be far. To quantify this, we first find the nearest neighbors in the training set to each validation point in all of our validation sets. We then qualitatively check (see Table A8 and Table A9 for examples) that nearest-neighbors in the training set truly convey information about validation points. we observe significant overlap between training points and validation points. We then quantitatively analyze how close each validation set is to the training set: in Figure A12, we show the breakdown of this distribution for each validation set. We see a general trend, that web-snapshots validation sets are closest to the training set as they are skewed to the right, while more esoteric validation sets (Gutenberg, or Wikipedia (en)) are more centered or even slightly left-skewed.
4.4절에서 간략하게 설명했듯이, 우리의 validation 세트 중 상당수가 우리의 training 세트에 (cosine distance에서) 가깝고, 데이터 선택의 영향은 개별 validation 세트마다 다르다는 것을 관찰합니다. 개별 validation 세트는 embedding 공간의 서로 다른 영역에 존재하므로 데이터 선택의 영향을 다르게 받습니다. 예를 들어, 웹 스냅샷 validation 세트(예: C4)는 embedding 공간에서 CC-dedup와 가깝지만, 난해한 validation 세트(예: Gutenberg PG 19 또는 DM Mathematics)는 멀리 떨어져 있을 수 있다고 상상할 수 있습니다. 이를 정량화하기 위해 먼저 모든 validation 세트에서 각 validation 점에 가장 가까운 training 세트를 찾습니다. 그런 다음 training 세트의 가장 가까운 이웃이 validation 점에 대한 정보를 실제로 전달하는지 정성적으로 확인합니다(예시는 표 A8 및 표 A9 참조). training 점과 validation 점 사이에 상당한 중복이 있음을 관찰합니다. 그런 다음 각 validation 세트가 training 세트에 얼마나 가까운지 정량적으로 분석합니다: 그림 A12에는 각 validation 세트에 대한 이 분포의 분석이 표시되어 있습니다. 웹 스냅샷 validation 세트는 오른쪽으로 치우쳐 있기 때문에 training 세트에 가장 가깝고, 난해한 validation 세트(Gutenberg 또는 Wikipedia (en))는 중앙에 위치하거나 약간 왼쪽으로 치우쳐 있는 일반적인 추세를 볼 수 있습니다.
4.4절에서 간략하게 설명했듯이, 우리의 유효성 검사 세트 중 상당수가 우리의 훈련 세트에 (코사인 거리에서) 가깝고, 데이터 선택의 영향은 개별 유효성 검사 세트마다 다르다는 것을 관찰합니다. 개별 유효성 검사 세트는 임베딩 공간의 서로 다른 영역에 존재하므로 데이터 선택의 영향을 다르게 받습니다. 예를 들어, 웹 스냅샷 유효성 검사 세트(예: C4)는 임베딩 공간에서 CC-중복 제거와 가깝지만, 난해한 유효성 검사 세트(예: 구텐베르크 PG 19 또는 DM 수학)는 멀리 떨어져 있을 수 있다고 상상할 수 있습니다. 이를 정량화하기 위해 먼저 모든 유효성 검사 세트에서 각 유효성 검사 점에 가장 가까운 훈련 세트를 찾습니다. 그런 다음 훈련 세트의 가장 가까운 이웃이 유효성 검사 점에 대한 정보를 실제로 전달하는지 정성적으로 확인합니다(예시는 표 A8 및 표 A9 참조). 훈련 점과 유효성 검사 점 사이에 상당한 중복이 있음을 관찰합니다. 그런 다음 각 유효성 검사 세트가 훈련 세트에 얼마나 가까운지 정량적으로 분석합니다: 그림 A12에는 각 유효성 검사 세트에 대한 이 분포의 분석이 표시되어 있습니다. 웹 스냅샷 유효성 검사 세트는 오른쪽으로 치우쳐 있기 때문에 훈련 세트에 가장 가깝고, 난해한 유효성 검사 세트(구텐베르크 또는 위키백과(en))는 중앙에 위치하거나 약간 왼쪽으로 치우쳐 있는 일반적인 추세를 볼 수 있습니다.