Large language model datasets.While we believe our results are independent of model architecture, we perform our analysis on Transformer-based decoder-only language models (Vaswani et al., 2017) trained for open-ended text generation. These current state-of-the-art models are trained on internet text. For example, the GPT-2 family of models Radford et al. (2019) is trained on WebText, a dataset of web documents highly ranked on Reddit--however this dataset was not made available publicly. A common dataset starting point is CommonCrawl, an index of public webpages. Among the models trained on CommonCrawl include GPT-3 (Brown et al., 2020) with the addition of book datasets, GROVER (Zellers et al., 2019) on a restricted subset filtered to news domains called RealNews, and T5 (Raffel et al., 2020) on a cleaned version of common crawl called C4. Other models are trained on more curated Internet sources--for example Guo et al. (2020) used high quality processed Wikipedia text from 40 different languages to train monolingual 141.4M parameter language models. Non-English models necessarily use different datasets; Zeng et al. (2021) for instance introduced PANGU-\(\alpha\), a family of models with up to 200B parameters that were trained on a non-public corpus of cleaned and filtered Chinese-language documents from CommonCrawl and other sources. Since many of these datasets are not public, we deduplicate three that are: Wiki-40B, C4, and RealNews-as well as the One Billion Word Language Model Benchmark (Chelba et al., 2013), a smaller dataset commonly used for evaluation.
대규모 언어 모델 데이터 세트. 우리는 우리의 결과가 모델 아키텍처와 무관하다고 생각하지만, Transformer 기반의 decoder 전용 언어 모델(Vaswani et al., 2017)에 대해 개방형 텍스트 생성을 위해 분석을 수행합니다. 현재 최신 모델은 인터넷 텍스트로 학습됩니다. 예를 들어, GPT-2 제품군(Radford et al., 2019)은 Reddit에서 높은 순위를 받은 웹 문서 데이터 세트인 WebText로 학습되지만, 이 데이터 세트는 공개적으로 사용할 수 없습니다. 일반적인 데이터 세트의 시작점은 공개 웹 페이지의 색인인 CommonCrawl입니다. CommonCrawl에서 학습된 모델에는 책 데이터 세트가 추가된 GPT-3(Brown et al., 2020), 뉴스 도메인으로 필터링된 제한된 하위 집합인 RealNews에 대한 GROVER(Zellers et al., 2019), C4라는 CommonCrawl의 정리된 버전에 대한 T5(Raffel et al., 2020) 등이 있습니다. 다른 모델은 더 엄선된 인터넷 소스로 학습됩니다. 예를 들어 Guo et al. (2020)은 40개 언어의 고품질 처리된 Wikipedia 텍스트를 사용하여 단어 141.4M 파라미터 언어 모델을 단어로 학습했습니다. 비영어 모델은 반드시 다른 데이터 세트를 사용해야 하는데, 예를 들어 Zeng et al. (2021)은 CommonCrawl 및 기타 소스에서 정리 및 필터링된 중국어 문서의 비공개 코퍼스로 학습한 최대 200B 파라미터의 모델 제품군인 PANGU-\(\alpha\)를 소개했습니다. 이러한 데이터 세트 중 상당수가 공개되지 않았기 때문에 Wiki-40B, C4, RealNews, 그리고 일반적으로 평가에 사용되는 소규모 데이터 세트인 One Billion Word Language Model Benchmark(Chelba et al., 2013) 등 세 가지 데이터 세트를 중복 제거했습니다.
대규모 언어 모델 데이터 세트.우리는 우리의 결과가 모델 아키텍처와 무관하다고 생각하지만, 트랜스포머 기반의 디코더 전용 언어 모델(Vaswani et al., 2017)에 대해 개방형 텍스트 생성을 위해 분석을 수행합니다. 현재 최신 모델은 인터넷 텍스트로 학습됩니다. 예를 들어, GPT-2 제품군(Radford et al., 2019)은 Reddit에서 높은 순위를 받은 웹 문서 데이터 세트인 WebText로 학습되지만, 이 데이터 세트는 공개적으로 사용할 수 없습니다. 일반적인 데이터 세트의 시작점은 공개 웹 페이지의 색인인 CommonCrawl입니다. CommonCrawl에서 학습된 모델에는 책 데이터 세트가 추가된 GPT-3(Brown et al., 2020), 뉴스 도메인으로 필터링된 제한된 하위 집합인 RealNews에 대한 GROVER(Zellers et al., 2019), C4라는 공통 크롤링의 정리된 버전에 대한 T5(Raffel et al., 2020) 등이 있습니다. 다른 모델은 더 엄선된 인터넷 소스로 학습됩니다. 예를 들어 Guo et al. (2020)은 40개 언어의 고품질 처리된 위키백과 텍스트를 사용하여 단어 141.4M 파라미터 언어 모델을 단어로 학습했습니다. 비영어 모델은 반드시 다른 데이터 세트를 사용해야 하는데, 예를 들어 Zeng et al. (2021)은 공통 크롤링 및 기타 소스에서 정리 및 필터링된 중국어 문서의 비공개 코퍼스로 학습한 최대 200B 파라미터의 모델 제품군인 PANGU-\(\알파\)를 소개했습니다. 이러한 데이터 세트 중 상당수가 공개되지 않았기 때문에 위키-40B, C4, 리얼뉴스, 그리고 일반적으로 평가에 사용되는 소규모 데이터 세트인 10억 단어 언어 모델 벤치마크(Chelba et al., 2013) 등 세 가지 데이터 세트를 중복 제거했습니다.