Due to computational limits, initial work on language model pre-training focused on training models on small, high-quality text datasets such as BookCorpus [61] and Wikipedia [32]. More recently, however, catalyzed by works like [40], advancements in large language models (LLMs) have been driven by leveraging large collections of unlabeled, uncurated data derived from snapshots of the internet (CommonCrawl [16; 39; 41]), trading off small quantities of heavily-curated data for huge quantities of less-curated data. Because of the dramatic increase in data quantity, these strategies have resulted in higher performance models and have sparked a new paradigm wherein massive, largely unfiltered datasets are utilized for training [11; 46; 50].
계산 한계로 인해 언어 모델 사전 학습의 초기 작업은 BookCorpus [61] 및 Wikipedia [32]와 같은 소규모의 고품질 텍스트 데이터 세트에 대한 모델 학습에 초점을 맞추었습니다. 그러나 최근에는 [40]과 같은 연구의 촉매제로 Large Language Models (LLMs)의 발전이 인터넷 스냅샷에서 파생된 라벨이 없고 큐레이션되지 않은 대규모 데이터 컬렉션을 활용하여 추진되고 있으며, 소량의 큐레이션이 많이 이루어진 데이터와 적은 양의 큐레이션이 이루어지지 않은 데이터의 양을 늘리는 방식으로 추진되고 있습니다. 데이터 양이 급격히 증가했기 때문에 이러한 전략으로 인해 더 높은 성능의 모델이 만들어졌으며, 엄청나게 방대한 양의 데이터가 학습에 활용되는 새로운 패러다임이 촉발되었습니다[11; 46; 50].
계산 한계로 인해 언어 모델 사전 학습의 초기 작업은 BookCorpus [61] 및 Wikipedia [32]와 같은 소규모의 고품질 텍스트 데이터 세트에 대한 모델 학습에 초점을 맞추었습니다. 그러나 최근에는 [40]과 같은 연구의 촉매제로 대규모 언어 모델(LLM)의 발전이 인터넷 스냅샷에서 파생된 라벨이 없고 큐레이션되지 않은 대규모 데이터 컬렉션을 활용하여 추진되고 있으며, 소량의 큐레이션이 많이 이루어진 데이터와 적은 양의 큐레이션이 이루어지지 않은 데이터의 양을 늘리는 방식으로 추진되고 있습니다. 데이터 양이 급격히 증가했기 때문에 이러한 전략으로 인해 더 높은 성능의 모델이 만들어졌으며, 엄청나게 방대한 양의 데이터가 학습에 활용되는 새로운 패러다임이 촉발되었습니다[11; 46; 50].