* We investigate different data selection strategies for standard LLM pre-training setups where data has already been manually filtered / de-duplicated (e.g., MinHash), and where we do not know the target distribution for which we optimize performance. We argue that the performance of SSL Prototypes is affected by duplicate-driven clusters in the embedding space. In Section 3.4 we propose a new data selection strategy **D4** that utilizes SemDeDup to avoid getting impacted by such clusters. * In Section 4.1, we show that in the _compute-limited regime_ where we have "infinite" source data and train models with fixed token budgets, we can achieve better pre-training perplexity and downstream accuracy than random iid data selection and previously established methods. Furthermore, we show that our method D4 can achieve around 20% efficiency gains at the 6.7b model scale, and that the magnitude of efficiency gains increases with model scale. * In the _data-limited regime_, where we run out of data and must epoch over data, cleverly choosing what data to repeat can beat training on randomly selected new data, whereas randomly choosing data to repeat underperforms adding new data (Section 4.2). This calls into question the standard practice of single epoch LLM training, and suggests that epoching over intelligently subselected data might be a better approach.
* 데이터가 이미 수동으로 필터링/중복 제거된 표준 LLM pre-training 설정(예: MinHash)과 성능 최적화를 위해 목표 분포를 알 수 없는 경우에 대한 다양한 데이터 선택 전략을 조사합니다. SSL Prototypes의 성능은 임베딩 공간에서 중복으로 인한 클러스터의 영향을 받는다고 주장합니다. 섹션 3.4에서는 이러한 클러스터의 영향을 피하기 위해 SemDeDup을 활용하는 새로운 데이터 선택 전략 **D4**를 제안합니다. * 섹션 4.1에서는 소스 데이터가 "무한대"이고 고정된 토큰 예산으로 모델을 훈련하는 'compute-limited regime'에서 무작위 iid 데이터 선택 및 이전에 확립된 방법보다 더 나은 pre-training perplexity와 downstream accuracy를 달성할 수 있음을 보여줍니다. 또한, 우리의 방법 D4는 6.7b 모델 규모에서 약 20%의 효율성 향상을 달성할 수 있으며, 효율성 향상의 규모는 모델 규모에 따라 증가한다는 것을 보여줍니다. * 데이터가 부족하여 데이터를 epoch해야 하는 _data-limited regime_에서는 어떤 데이터를 반복할지 현명하게 선택하면 무작위로 선택된 새로운 데이터로 훈련하는 것보다 더 나은 성능을 발휘할 수 있는 반면, 무작위로 반복할 데이터를 선택하는 것은 새로운 데이터를 추가하는 것보다 성능이 저하됩니다(섹션 4.2). 이는 단일 epoch LLM 훈련의 표준 관행에 의문을 제기하고, 지능적으로 하위 선택된 데이터를 epoching하는 것이 더 나은 접근 방식일 수 있음을 시사합니다.
* 데이터가 이미 수동으로 필터링/중복 제거된 표준 LLM 사전 학습 설정(예: MinHash)과 성능 최적화를 위해 목표 분포를 알 수 없는 경우에 대한 다양한 데이터 선택 전략을 조사합니다. SSL 프로토타입의 성능은 임베딩 공간에서 중복으로 인한 클러스터의 영향을 받는다고 주장합니다. 섹션 3.4에서는 이러한 클러스터의 영향을 피하기 위해 SemDeDup을 활용하는 새로운 데이터 선택 전략 **D4**를 제안합니다. * 섹션 4.1에서는 소스 데이터가 "무한대"이고 고정된 토큰 예산으로 모델을 훈련하는 '계산 제한 정권'에서 무작위 iid 데이터 선택 및 이전에 확립된 방법보다 더 나은 사전 훈련 당혹감과 다운스트림 정확도를 달성할 수 있음을 보여줍니다. 또한, 우리의 방법 D4는 6.7b 모델 규모에서 약 20%의 효율성 향상을 달성할 수 있으며, 효율성 향상의 규모는 모델 규모에 따라 증가한다는 것을 보여줍니다. * 데이터가 부족하여 데이터를 에포크해야 하는 _데이터 제한 정권_에서는 어떤 데이터를 반복할지 현명하게 선택하면 무작위로 선택된 새로운 데이터로 훈련하는 것보다 더 나은 성능을 발휘할 수 있는 반면, 무작위로 반복할 데이터를 선택하는 것은 새로운 데이터를 추가하는 것보다 성능이 저하됩니다(섹션 4.2). 이는 단일 에포크 LLM 훈련의 표준 관행에 의문을 제기하고, 지능적으로 하위 선택된 데이터를 에포킹하는 것이 더 나은 접근 방식일 수 있음을 시사합니다.