**Effect of pre-training data on LM performance:** Gao et al. [16] trains variants of GPT-2 [40] models from scratch to compare the "Pile" dataset to CommonCrawl-derived corpora. Radford et al. [40] demonstrates the positive impact of the quality filters and data de-duplication methods used to curate MassiveWeb by training 1.4B parameter models from scratch. Hernandez et al. [19] quantifies the effect of various amounts of artificially created data duplication and provides analysis on interpreting the changes in the behaviour of the models trained on duplicated data. Concurrently to our work, Xie et al. [56] propose using importance resampling to align the distribution of web data to high-quality reference corpora such as Wikipedia. Similarly, Gururangan et al. [17] explores data selection strategies for adapting LMs to a task-specific corpus. Another line of recent work explores how data mixture affects pre-training, with Xie et al. [55] demonstrating impressive improvements in downstream accuracy and perplexity across all datasets for 8B parameter models trained on the Pile. Similarly, Longpre et al. [30] explores the role of text quality, toxicity, age, and domain distribution of training data on LLM performance. Outside of data curation, there has been a recent surge of work exploring the impact of repeating data [5, 37, 57], generally concluding that repeating tokens is worse than training on new tokens (which we question in Section 4.2).
**사전 학습 데이터가 LM 성능에 미치는 영향:** Gao 등[16]은 GPT-2[40] 모델의 변형을 처음부터 훈련하여 "Pile" 데이터 세트를 CommonCrawl에서 파생된 corpora와 비교합니다. Radford 등[40]은 1.4B parameter 모델을 처음부터 훈련하여 MassiveWeb을 큐레이션하는 데 사용된 품질 필터와 데이터 중복 제거 방법의 긍정적인 영향을 입증합니다. Hernandez 등[19]은 인위적으로 생성된 다양한 양의 데이터 중복의 영향을 정량화하고 중복된 데이터로 학습된 모델의 동작을 해석하는 분석을 제공합니다. 저희 연구와 동시에 Xie 등[56]은 중요도 resampling을 사용하여 웹 데이터의 분포를 Wikipedia와 같은 고품질 참조 corpora에 맞추는 방법을 제안합니다. 마찬가지로, Gururangan 등[17]은 LM을 작업별 corpora에 맞게 조정하기 위한 데이터 선택 전략을 탐색합니다. 최근의 또 다른 연구들은 데이터 혼합이 사전 학습에 어떤 영향을 미치는지 탐구하고 있으며, Xie 등[55]은 Pile에서 학습한 8B parameter 모델에 대해 모든 데이터 세트에서 downstream 정확도와 perplexity가 크게 향상됨을 입증했습니다. 마찬가지로 Longpre 등[30]은 훈련 데이터의 텍스트 품질, 독성, 연령 및 도메인 분포가 LLM 성능에 미치는 영향을 탐구합니다. 데이터 큐레이션 외에도 최근에는 반복되는 데이터의 영향을 탐구하는 연구가 급증하고 있으며[5, 37, 57], 일반적으로 새로운 토큰으로 훈련하는 것보다 반복되는 토큰이 더 나쁘다는 결론을 내리고 있습니다(4.2절에서 이에 대해 의문을 제기합니다).
**사전 학습 데이터가 LM 성능에 미치는 영향:** Gao 등[16]은 GPT-2[40] 모델의 변형을 처음부터 훈련하여 "Pile" 데이터 세트를 CommonCrawl에서 파생된 코퍼라와 비교합니다. Radford 등[40]은 1.4B 파라미터 모델을 처음부터 훈련하여 MassiveWeb을 큐레이션하는 데 사용된 품질 필터와 데이터 중복 제거 방법의 긍정적인 영향을 입증합니다. Hernandez 등[19]은 인위적으로 생성된 다양한 양의 데이터 중복의 영향을 정량화하고 중복된 데이터로 학습된 모델의 동작을 해석하는 분석을 제공합니다. 저희 연구와 동시에 Xie 등[56]은 중요도 리샘플링을 사용하여 웹 데이터의 분포를 Wikipedia와 같은 고품질 참조 코퍼스에 맞추는 방법을 제안합니다. 마찬가지로, 구루라간 등[17]은 LM을 작업별 코퍼스에 맞게 조정하기 위한 데이터 선택 전략을 탐색합니다. 최근의 또 다른 연구들은 데이터 혼합이 사전 학습에 어떤 영향을 미치는지 탐구하고 있으며, Xie 등[55]은 Pile에서 학습한 8B 파라미터 모델에 대해 모든 데이터 세트에서 다운스트림 정확도와 당혹감이 크게 향상됨을 입증했습니다. 마찬가지로 Longpre 등[30]은 훈련 데이터의 텍스트 품질, 독성, 연령 및 도메인 분포가 LLM 성능에 미치는 영향을 탐구합니다. 데이터 큐레이션 외에도 최근에는 반복되는 데이터의 영향을 탐구하는 연구가 급증하고 있으며[5, 37, 57], 일반적으로 새로운 토큰으로 훈련하는 것보다 반복되는 토큰이 더 나쁘다는 결론을 내리고 있습니다(4.2절에서 이에 대해 의문을 제기합니다).