Pretraining data for large language models.Early large language models identified the importance of datasets with long, coherent documents (Radford et al., 2018; Devlin et al., 2019). Moving on from the previously used sentence-wise datasets (Chelba et al., 2013), they instead leveraged document-focused, single-domain corpora like Wikipedia or BookCorpus (Zhu et al., 2015). As models increased in scale, datasets based on massive web-scrape gained prevalence (Ortiz Suarez et al., 2019; Raffel et al., 2020). However, further work argued that these untargeted web scrape fell short of human-curated data (Radford et al., 2019), leading to the wide adoption of curated datasets such as The Pile (Gao et al., 2020), which combine web data with books, technical articles, and social media conversations. At scale, it has been proposed to emulate the human curation process by leveraging weak signals: for instance, by crawling the top links of a forum (Gokaslan et al., 2019). Targeted corpora can also produce domain-specific models (Beltagy et al., 2019), or broaden the expressiveness of models (e.g., for conversational modalities Adiwardana et al. (2020); Thoppilan et al. (2022)). Latest large language models (Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022; Scao et al., 2022) are trained on giant aggregated corpora, combining both massive web-scrape and so-called "high-quality" curated single-domain sources (e.g., news, books, technical papers, social media conversations). These targeted sources are often upsampled-from one to five times is most common-to increase their representation in the final dataset. The diversity and "higher-quality" brought fourth by these aggregated datasets is thought to be central to model quality; web data alone is considered insufficient to train powerful large language models (Liu et al., 2019; Scao et al., 2022).
대규모 언어 모델을 위한 사전 학습 데이터. 초기 Large Language Models (LLMs)은 길고 일관된 문서가 포함된 데이터 세트의 중요성을 확인했습니다(Radford et al., 2018; Devlin et al., 2019). 이전에 사용되던 문장 단위 데이터 세트(Chelba et al., 2013)에서 벗어나 대신 위키피디아나 BookCorpus(Zhu et al., 2015)와 같은 문서 중심의 단일 도메인 말뭉치를 활용했습니다. 모델의 규모가 커지면서 대규모 웹 스크랩을 기반으로 하는 데이터 세트가 보편화되었습니다(Ortiz Suarez et al., 2019; Raffel et al., 2020). 그러나 이러한 비표적 웹 스크랩이 인간이 큐레이션한 데이터에 미치지 못한다는 추가 연구가 이루어졌고(Radford et al., 2019), 웹 데이터와 책, 기술 기사, 소셜 미디어 대화를 결합한 The Pile (Gao et al., 2020)과 같은 큐레이션된 데이터 세트가 널리 채택되었습니다. 규모가 커지면서 포럼의 상위 링크를 크롤링하는 등 약한 신호를 활용하여 인간의 큐레이션 프로세스를 모방하는 방안이 제안되기도 했습니다(Gokaslan et al., 2019). 타겟 말뭉치는 도메인별 모델(Beltagy et al., 2019)을 제작하거나 대화 모달리티(예: Adiwardana et al., 2020; Thoppilan et al., 2022)의 모델 표현력을 넓힐 수도 있습니다. 최신 Large Language Models (LLMs) (Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022; Scao et al., 2022)은 대규모 웹 스크랩과 소위 "고품질" 큐레이션된 단일 도메인 소스(예: 뉴스, 도서, 기술 논문, 소셜 미디어 대화)를 모두 결합한 거대한 집계 말뭉치로 학습합니다. 이러한 타겟 소스는 최종 데이터 세트에서 그 비중을 높이기 위해 1배에서 5배까지 업샘플링하는 경우가 많습니다. 이러한 집계 데이터 세트가 제공하는 다양성과 "고품질"은 모델 품질의 핵심으로 여겨지며, 웹 데이터만으로는 강력한 Large Language Models (LLMs)을 훈련하기에 충분하지 않은 것으로 간주됩니다(Liu et al., 2019; Scao et al., 2022).
대규모 언어 모델을 위한 사전 학습 데이터.초기 대규모 언어 모델은 길고 일관된 문서가 포함된 데이터 세트의 중요성을 확인했습니다(Radford et al., 2018; Devlin et al., 2019). 이전에 사용되던 문장 단위 데이터 세트(Chelba et al., 2013)에서 벗어나 대신 위키피디아나 BookCorpus(Zhu et al., 2015)와 같은 문서 중심의 단일 도메인 말뭉치를 활용했습니다. 모델의 규모가 커지면서 대규모 웹 스크랩을 기반으로 하는 데이터 세트가 보편화되었습니다(Ortiz Suarez et al., 2019; Raffel et al., 2020). 그러나 이러한 비표적 웹 스크랩이 인간이 큐레이션한 데이터에 미치지 못한다는 추가 연구가 이루어졌고(Radford et al., 2019), 웹 데이터와 책, 기술 기사, 소셜 미디어 대화를 결합한 더 파일(The Pile, Gao et al., 2020)과 같은 큐레이션된 데이터 세트가 널리 채택되었습니다. 규모가 커지면서 포럼의 상위 링크를 크롤링하는 등 약한 신호를 활용하여 인간의 큐레이션 프로세스를 모방하는 방안이 제안되기도 했습니다(Gokaslan et al., 2019). 타겟 말뭉치는 도메인별 모델(Beltagy et al., 2019)을 제작하거나 대화 모달리티(예: Adiwardana et al., 2020; Thoppilan et al., 2022)의 모델 표현력을 넓힐 수도 있습니다. 최신 대규모 언어 모델(Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022; Scao et al., 2022)은 대규모 웹 스크랩과 소위 "고품질" 큐레이션된 단일 도메인 소스(예: 뉴스, 도서, 기술 논문, 소셜 미디어 대화)를 모두 결합한 거대한 집계 말뭉치로 학습합니다. 이러한 타겟 소스는 최종 데이터 세트에서 그 비중을 높이기 위해 1배에서 5배까지 업샘플링하는 경우가 많습니다. 이러한 집계 데이터 세트가 제공하는 다양성과 "고품질"은 모델 품질의 핵심으로 여겨지며, 웹 데이터만으로는 강력한 대규모 언어 모델을 훈련하기에 충분하지 않은 것으로 간주됩니다(Liu et al., 2019; Scao et al., 2022).