**Others.** The Pile [161] is a large-scale, diverse, and open-source text dataset consisting of over 800GB of data from multiple sources, including books, websites, codes, scientific papers, and social media platforms. It is constructed from 22 diverse high-quality subsets. The Pile dataset is widely used in models with different parameter scales, such as GPT-J (6B) [165], CodeGen (16B) [86], and Megatron-Turing NLG (530B) [113]. ROOTS [162] is composed of various smaller datasets (totally 1.61 TB of text) and covers 59 different languages (containing natural languages and programming languages), which have been used for training BLOOM [78].
**기타**. The Pile [161]은 책, 웹사이트, 코드, 과학 논문, 소셜 미디어 플랫폼 등 여러 소스에서 수집한 800GB 이상의 데이터로 구성된 대규모의 다양하고 오픈 소스 텍스트 데이터 세트입니다. 22개의 다양한 고품질 하위 집합으로 구성되어 있습니다. The Pile 데이터 세트는 GPT-J(6B) [165], CodeGen(16B) [86], Megatron-Turing NLG(530B) [113] 등 다양한 파라미터 규모의 모델에서 널리 사용됩니다. ROOTS [162]는 다양한 소규모 데이터 세트(총 1.61TB의 텍스트)로 구성되어 있으며 59개의 다양한 언어(자연어 및 프로그래밍 언어 포함)를 다루고 있으며, 이는 BLOOM [78]을 학습하는 데 사용되었습니다.
**기타**. 더 파일 [161]은 책, 웹사이트, 코드, 과학 논문, 소셜 미디어 플랫폼 등 여러 소스에서 수집한 800GB 이상의 데이터로 구성된 대규모의 다양하고 오픈 소스 텍스트 데이터 세트입니다. 22개의 다양한 고품질 하위 집합으로 구성되어 있습니다. Pile 데이터 세트는 GPT-J(6B) [165], CodeGen(16B) [86], Megatron-Turing NLG(530B) [113] 등 다양한 파라미터 규모의 모델에서 널리 사용됩니다. ROOTS [162]는 다양한 소규모 데이터 세트(총 1.61TB의 텍스트)로 구성되어 있으며 59개의 다양한 언어(자연어 및 프로그래밍 언어 포함)를 다루고 있으며, 이는 BLOOM [78]을 학습하는 데 사용되었습니다.