The English corpus consists of curated documents from a variety of sources and domains including web documents, news articles, scientific papers, books, etc and the distribution used in our pre-training set is highlighted in Figure 2. The code and multilingual data consists of a diverse set of natural and programming languages. We find that appropriately sampling tokens from these languages is key to strong accuracies in these domains. We share the distributions used for both code and multilingual tokens in our pre-training dataset in Figure 3 and Figure 4 respectively.
영어 말뭉치는 웹 문서, 뉴스 기사, 과학 논문, 책 등 다양한 출처와 도메인의 엄선된 문서로 구성되며, pre-training 세트에 사용된 분포는 그림 2에 강조 표시되어 있습니다. 코드와 다국어 데이터는 다양한 자연어 및 프로그래밍 언어로 구성됩니다. 이러한 언어에서 토큰을 적절하게 샘플링하는 것이 해당 도메인에서 높은 정확도를 보장하는 데 핵심이라는 것을 발견했습니다. pre-training 데이터 세트에서 코드와 다국어 토큰에 사용된 분포를 각각 그림 3과 그림 4에 공유합니다.
영어 말뭉치는 웹 문서, 뉴스 기사, 과학 논문, 책 등 다양한 출처와 도메인의 엄선된 문서로 구성되며, 사전 학습 세트에 사용된 분포는 그림 2에 강조 표시되어 있습니다. 코드와 다국어 데이터는 다양한 자연어 및 프로그래밍 언어로 구성됩니다. 이러한 언어에서 토큰을 적절하게 샘플링하는 것이 해당 도메인에서 높은 정확도를 보장하는 데 핵심이라는 것을 발견했습니다. 사전 학습 데이터 세트에서 코드와 다국어 토큰에 사용된 분포를 각각 그림 3과 그림 4에 공유합니다.