We notice that the effects of data selection vary significantly on individual validation sets depending on whether the validation set was derived from a web data corpus or not (see more details and analysis in Section 4.4.1). Motivated by this, we split validation sets into Web-snapshots (C4, CommonCrawl, and CC-dedup) and Non-web snapshots, and report average perplexity within these sets.
데이터 선택의 효과는 유효성 검사 집합이 웹 데이터 코퍼스에서 파생된 것인지 여부에 따라 개별 유효성 검사 집합에 상당한 차이가 있음을 알 수 있습니다(자세한 내용과 분석은 섹션 4.4.1 참조). 이에 착안하여 유효성 검사 집합을 Web-snapshots (C4, CommonCrawl 및 CC-dedup)과 Non-web snapshots로 나누고 이러한 집합 내에서 평균 Perplexity를 보고합니다.
데이터 선택의 효과는 유효성 검사 집합이 웹 데이터 코퍼스에서 파생된 것인지 여부에 따라 개별 유효성 검사 집합에 상당한 차이가 있음을 알 수 있습니다(자세한 내용과 분석은 섹션 4.4.1 참조). 이에 착안하여 유효성 검사 집합을 웹 스냅샷(C4, CommonCrawl 및 CC-dedup)과 비웹 스냅샷으로 나누고 이러한 집합 내에서 평균 난해함을 보고합니다.