To the best of our knowledge, this is the first result to demonstrate the benefits of repeating data for LLM pre-training, over randomly sampling new tokens via a principled data selection technique. We argue that the optimal way of using large-scale web data to pre-train LLMs could be: strategically choose a significantly smaller but better-distributed subset of the data and epoch over it multiple times.
우리가 아는 한, 이것은 원칙적인 데이터 선택 기법을 통해 무작위로 새로운 토큰을 샘플링하는 것보다 LLM pre-training을 위해 데이터를 반복하는 것이 이점이 있음을 보여주는 최초의 결과입니다. 저희는 대규모 웹 데이터를 사용하여 LLM을 pre-train시키는 최적의 방법은 데이터의 하위 집합을 훨씬 더 작지만 더 잘 분산된 방식으로 전략적으로 선택하고 이를 여러 번 반복하는 것일 수 있다고 주장합니다.
우리가 아는 한, 이것은 원칙적인 데이터 선택 기법을 통해 무작위로 새로운 토큰을 샘플링하는 것보다 LLM 사전 학습을 위해 데이터를 반복하는 것이 이점이 있음을 보여주는 최초의 결과입니다. 저희는 대규모 웹 데이터를 사용하여 LLM을 사전 학습시키는 최적의 방법은 데이터의 하위 집합을 훨씬 더 작지만 더 잘 분산된 방식으로 전략적으로 선택하고 이를 여러 번 반복하는 것일 수 있다고 주장합니다.