**Mixing different training distributions:** While we chose one data distribution to both select data and train on, modern LLM setups usually mix different data sources. Our method is likely complimentary to such pipelines: practitioners may use D4 to diversify and de-duplicate individual data sources and then mix data sources to provide additional diversity in their training dataset. We leave exploring the efficacy of D4 on a mix of training distributions as future work, but expect that this will yield further gains by reducing redundancy across datasets as well as within datasets.
다양한 훈련 분포의 혼합: 우리는 데이터 선택과 훈련에 하나의 데이터 분포를 선택했지만, 현대의 LLM 설정은 보통 다양한 데이터 소스를 혼합합니다. 우리의 방법은 이러한 파이프라인에 보완적일 가능성이 큽니다: 실무자들은 D4를 사용하여 개별 데이터 소스를 다양화하고 중복을 제거한 후, 데이터 소스를 혼합하여 훈련 데이터셋에 추가적인 다양성을 제공할 수 있습니다. 우리는 다양한 훈련 분포의 혼합에서 D4의 효능을 탐구하는 것을 미래의 과제로 남겨두지만, 이는 데이터셋 간 및 데이터셋 내 중복을 줄임으로써 추가적인 이득을 가져올 것으로 기대합니다.
**다양한 학습 분포 혼합:** 데이터를 선택하고 학습하는 데 하나의 데이터 분포를 선택했지만, 최신 LLM 설정에서는 일반적으로 서로 다른 데이터 소스를 혼합합니다. 이러한 파이프라인에 D4를 사용하면 개별 데이터 소스를 다양화하고 중복을 제거한 다음 데이터 소스를 혼합하여 학습 데이터 세트에 추가 다양성을 제공할 수 있습니다. 다양한 학습 분포에 대한 D4의 효율성을 탐색하는 것은 향후 작업으로 남겨두지만, 데이터 세트 간의 중복성은 물론 데이터 세트 내의 중복성도 줄여서 더 많은 이득을 얻을 수 있을 것으로 기대합니다.