For perplexity, we notice in Figure A4 that the claims in Section 4 generally hold across validation sets: for web snapshots validation sets such C4, CC-dedup, and CommonCrawl, we see performanceworsens with data selection compared to baseline training, and that D4 generally has the slowest rate of performance degradation. We note that, across all non web-snapshot validation sets, there is no clear winner among data selection methods. We emphasize however that _we observe consistent improvement over baseline training on most validation sets_ we use -- for example in Figure A4 we observe that, when selecting tokens from a 1.25x source dataset, all data selection methods improve over baseline across all validation sets except C4 and CC-dedup (however, as we explain in Section 4.4, this decrease in performance on C4 and CC-dedup is expected).
perplexity의 경우, 그림 A4에서 섹션 4의 주장은 일반적으로 유효성 검사 세트 전체에서 유지됩니다. 웹 스냅샷 유효성 검사 세트인 C4, CC-dedup 및 CommonCrawl의 경우 baseline 훈련과 비교하여 데이터 선택에 따라 성능이 악화되는 것을 볼 수 있으며, D4는 일반적으로 성능 저하 속도가 가장 느립니다. 모든 웹 스냅샷이 아닌 유효성 검사 세트에서 데이터 선택 방법 중 명확한 승자가 없는 것에 유의합니다. 그러나 예를 들어 그림 A4에서 볼 수 있듯이 1.25배의 소스 데이터 세트에서 토큰을 선택할 때 대부분의 유효성 검사 세트에서 baseline 훈련에 비해 일관된 개선을 관찰할 수 있습니다(단, 섹션 4.4에서 설명했듯이 C4 및 CC-dedup에서 이러한 성능 저하는 예상되는 현상입니다).
perplexity의 경우, 그림 A4에서 섹션 4의 주장은 일반적으로 유효성 검사 세트 전체에서 유지됩니다. 웹 스냅샷 유효성 검사 세트인 C4, CC-중복 제거 및 CommonCrawl의 경우 기본 훈련과 비교하여 데이터 선택에 따라 성능이 악화되는 것을 볼 수 있으며, D4는 일반적으로 성능 저하 속도가 가장 느립니다. 모든 웹 스냅샷이 아닌 유효성 검사 세트에서 데이터 선택 방법 중 명확한 승자가 없는 것에 유의합니다. 그러나 예를 들어 그림 A4에서 볼 수 있듯이 1.25배의 소스 데이터 세트에서 토큰을 선택할 때 대부분의 유효성 검사 세트에서 기본 훈련에 비해 일관된 개선을 관찰할 수 있습니다(단, 섹션 4.4에서 설명했듯이 C4 및 CC-중복 제거에서 이러한 성능 저하는 예상되는 현상입니다).