Over recent years, an increasing amount of compute and data has been poured into training large language models (LLMs), usually by doing one-pass learning on as many tokens as possible randomly selected from large-scale web corpora. While training on ever-larger portions of the internet leads to consistent performance improvements, the size of these improvements diminishes with scale, and there has been little work exploring the effect of data selection on pre-training and downstream performance beyond simple de-duplication methods such as MinHash. Here, we show that careful data selection (on top of de-duplicated data) via pre-trained model embeddings can speed up training (20% efficiency gains) and improves average downstream accuracy on 16 NLP tasks (up to 2%) at the 6.7B model scale. Furthermore, we show that repeating data intelligently consistently _outperforms_ baseline training (while repeating random data performs worse than baseline training). Our results indicate that clever data selection can significantly improve LLM pre-training, calls into question the common practice of training for a single epoch on as much data as possible, and demonstrates a path to keep improving our models past the limits of randomly sampling web data.
최근 몇 년 동안 대규모 언어 모델(LLMs)을 학습시키는 데는 웹 코퍼스에서 무작위로 선택된 많은 토큰에 대해 한 번 학습하는 방식으로 계속 많은 compute와 data가 투입되고 있습니다. 인터넷의 점점 더 많은 부분을 학습하면 지속적으로 성능이 향상되지만, 이러한 향상의 규모는 점점 줄어들고 있으며, MinHash와 같은 간단한 중복 제거 방법을 넘어선 data selection이 pre-training 및 downstream 성능에 미치는 영향을 탐구하는 연구는 거의 이루어지지 않았습니다. 여기서는 pre-trained model embeddings을 통해 신중한 data selection(중복 제거된 data 위에)을 통해 학습 속도를 높이고(효율성 20% 향상), 16개의 NLP 작업에서 downstream 평균 정확도를 개선할 수 있음을 보여줍니다(최대 2%, 모델 규모 6.7B). 또한, data를 지능적으로 반복하는 것이 baseline 훈련을 지속적으로 _능가한다는 것을 보여줍니다(무작위 data를 반복하는 것은 baseline 훈련보다 성능이 떨어짐). 연구 결과에 따르면, 영리한 data selection은 LLM pre-training을 크게 개선할 수 있으며, 가능한 한 많은 data에 대해 한 번만 학습하는 일반적인 관행에 의문을 제기하고, 웹 data를 무작위로 샘플링하는 한계를 넘어 모델을 계속 개선할 수 있는 경로를 보여줍니다.
최근 몇 년 동안 대규모 언어 모델(LLM)을 학습시키는 데는 웹 코퍼스에서 무작위로 선택된 많은 토큰에 대해 한 번 학습하는 방식으로 계속 많은 컴퓨팅과 데이터가 투입되고 있습니다. 인터넷의 점점 더 많은 부분을 학습하면 지속적으로 성능이 향상되지만, 이러한 향상의 규모는 점점 줄어들고 있으며, MinHash와 같은 간단한 중복 제거 방법을 넘어선 데이터 선택이 사전 학습 및 다운스트림 성능에 미치는 영향을 탐구하는 연구는 거의 이루어지지 않았습니다. 여기서는 사전 학습된 모델 임베딩을 통해 신중한 데이터 선택(중복 제거된 데이터 위에)을 통해 학습 속도를 높이고(효율성 20% 향상), 16개의 NLP 작업에서 다운스트림 평균 정확도를 개선할 수 있음을 보여줍니다(최대 2%, 모델 규모 6.7B). 또한, 데이터를 지능적으로 반복하는 것이 기본선 훈련을 지속적으로 _능가한다는 것을 보여줍니다(무작위 데이터를 반복하는 것은 기본선 훈련보다 성능이 떨어짐). 연구 결과에 따르면, 영리한 데이터 선택은 LLM 사전 학습을 크게 개선할 수 있으며, 가능한 한 많은 데이터에 대해 한 번만 학습하는 일반적인 관행에 의문을 제기하고, 웹 데이터를 무작위로 샘플링하는 한계를 넘어 모델을 계속 개선할 수 있는 경로를 보여줍니다.