**Books.** BookCorpus [153] is a commonly used dataset in previous small-scale models (_e.g._, GPT [122] and GPT-2 [26]), consisting of over 11,000 books covering a wide range of topics and genres (_e.g._, novels and biographies). Another large-scale book corpus is Project Gutenberg [154], consisting of over 70,000 literary books including novels, essays, poetry, drama, history, science, philosophy, and other types of works in the public domain. It is currently one of the largest open-source book collections, which is used in training of MT-NLG [113] and LLaMA [57]. As for Books1 [55] and Books2 [55] used in GPT-3 [55], they are much larger than BookCorpus but have not been publicly released so far.
**Books.** BookCorpus [153]는 이전 소규모 모델(_예: GPT [122] 및 GPT-2 [26])에서 일반적으로 사용되는 데이터 세트로, 다양한 주제와 장르(예: 소설 및 전기)를 다루는 11,000권 이상의 책으로 구성되어 있습니다. 또 다른 대규모 도서 코퍼스로는 Project Gutenberg [154]가 있는데, 소설, 에세이, 시, 드라마, 역사, 과학, 철학 및 기타 유형의 저작물을 포함한 70,000권 이상의 문학 작품으로 구성되어 있습니다. 현재 가장 큰 오픈 소스 도서 컬렉션 중 하나이며, MT-NLG [113] 및 LLaMA [57]의 훈련에 사용됩니다. GPT-3 [55]에 사용된 Books1 [55] 및 Books2 [55]는 BookCorpus보다 훨씬 규모가 크지만 지금까지 공개되지 않았습니다.
**Books.** BookCorpus [153]는 이전 소규모 모델(_예: GPT [122] 및 GPT-2 [26])에서 일반적으로 사용되는 데이터 세트로, 다양한 주제와 장르(예: 소설 및 전기)를 다루는 11,000권 이상의 책으로 구성되어 있습니다. 또 다른 대규모 도서 코퍼스로는 프로젝트 구텐베르크 [154]가 있는데, 소설, 에세이, 시, 드라마, 역사, 과학, 철학 및 기타 유형의 저작물을 포함한 70,000권 이상의 문학 작품으로 구성되어 있습니다. 현재 가장 큰 오픈 소스 도서 컬렉션 중 하나이며, MT-NLG [113] 및 LLaMA [57]의 교육에 사용됩니다. GPT-3 [55]에 사용된 Books1 [55] 및 Books2 [55]는 BookCorpus보다 훨씬 규모가 크지만 지금까지 공개되지 않았습니다.