**Validation Perplexity.** In Figure 2, we show that a relatively small amount of data selection using any of the three methods (small \(R\)) brings consistent improvements on all validation sets. However, as we increase \(R\), we observe _opposing effects_ on web snapshot and non-web-snapshots validation sets. We analyze this discrepancy in-depth in Section 4.4. However, on the Instruct OPT validation set, which corresponds much more closely to the the high-quality generations we want our LLMs to achieve, we found that all three methods led to consistent and clear perplexity improvements. Notably, we found that while all three methods provided benefits, D4 outperformed using both SemDeDup and SSL Prototypes independently, with the most notable gains exhibited when the source dataset is around 4x the target dataset size. Given that D4 consistently improves with source dataset size, we estimate this gap to grow with source dataset size.
**Validation Perplexity.** 그림 2에서 세 가지 방법 중 하나를 사용하여 비교적 적은 양의 데이터 선택(작은 \(R\))이 모든 유효성 검사 집합에서 일관된 개선을 가져온다는 것을 보여줍니다. 그러나 \(R\)을 늘리면 웹 스냅샷과 웹 스냅샷이 아닌 유효성 검사 집합에 대해 _반대되는 효과_를 관찰할 수 있습니다. 이러한 차이에 대해서는 섹션 4.4에서 자세히 분석합니다. 그러나 LLM이 달성하고자 하는 고품질 생성에 훨씬 더 가깝게 해당하는 Instruct OPT 유효성 검사 집합에서는 세 가지 방법 모두 일관되고 명확한 Perplexity 개선을 가져온다는 것을 발견했습니다. 특히 세 가지 방법 모두 이점을 제공하지만, D4는 SemDeDup과 SSL 프로토타입을 독립적으로 사용하는 것보다 성능이 뛰어났으며, 소스 데이터 세트가 대상 데이터 세트 크기의 약 4배일 때 가장 두드러진 성능 향상을 보였습니다. D4는 소스 데이터 세트 크기가 커질수록 지속적으로 개선되는 것으로 보아 소스 데이터 세트 크기가 커질수록 이러한 격차가 커질 것으로 예상됩니다.
**유효성 검사 당혹감**. 그림 2에서 세 가지 방법 중 하나를 사용하여 비교적 적은 양의 데이터 선택(작은 \(R\))이 모든 유효성 검사 집합에서 일관된 개선을 가져온다는 것을 보여줍니다. 그러나 \(R\)을 늘리면 웹 스냅샷과 웹 스냅샷이 아닌 유효성 검사 집합에 대해 _반대되는 효과_를 관찰할 수 있습니다. 이러한 차이에 대해서는 섹션 4.4에서 자세히 분석합니다. 그러나 LLM이 달성하고자 하는 고품질 생성에 훨씬 더 가깝게 해당하는 Instruct OPT 유효성 검사 집합에서는 세 가지 방법 모두 일관되고 명확한 당혹감 개선을 가져온다는 것을 발견했습니다. 특히 세 가지 방법 모두 이점을 제공하지만, D4는 SemDeDup과 SSL 프로토타입을 독립적으로 사용하는 것보다 성능이 뛰어났으며, 소스 데이터 세트가 대상 데이터 세트 크기의 약 4배일 때 가장 두드러진 성능 향상을 보였습니다. D4는 소스 데이터 세트 크기가 커질수록 지속적으로 개선되는 것으로 보아 소스 데이터 세트 크기가 커질수록 이러한 격차가 커질 것으로 예상됩니다.