We introduced D4, a method for data curation on LLMs that improves training efficiency by 20% across multiple model scales, with larger gains at increased model scale. We also demonstrated that, in contrast to common practice, repeating data via epoching can be beneficial for LLM training, but only if the data subset is intelligently selected. While we have shown encouraging efficiency gains and performance improvements via D4, our work has several limitations and many future directions.
우리는 여러 모델 규모에서 훈련 효율성을 20% 향상시키는 LLM 데이터 큐레이션 방법인 D4를 소개했습니다. 모델 규모가 커질수록 더 큰 이점을 얻을 수 있습니다. 또한 일반적인 관행과 달리, 데이터를 반복하는 것이 LLM 훈련에 유익할 수 있음을 보여주었지만, 이는 데이터 하위 집합이 지능적으로 선택된 경우에만 해당됩니다. D4를 통해 고무적인 효율성 향상과 성능 개선을 보여주었지만, 우리의 작업에는 몇 가지 한계가 있으며 많은 미래 연구 방향이 남아 있습니다.
여러 모델 규모에서 훈련 효율성을 20% 개선하는 LLM에 대한 데이터 큐레이션 방법인 D4를 소개했으며, 모델 규모가 커질수록 더 큰 이득을 얻을 수 있습니다. 또한 일반적인 관행과는 달리 에포칭을 통해 데이터를 반복하는 것이 LLM 훈련에 유리할 수 있지만, 데이터 하위 집합을 지능적으로 선택해야만 그 효과를 볼 수 있음을 입증했습니다. D4를 통해 고무적인 효율성 향상과 성능 개선을 보여주었지만, 이 작업에는 몇 가지 한계와 향후 많은 방향성이 있습니다.