\(\bullet\)_Books._ Compared to other corpus, books provide an important source of formal long texts, which are potentially beneficial for LLMs to learn linguistic knowledge, model long-term dependency, and generate narrative and coherent texts. To obtain open-source book data, existing studies usually adopt the Books3 and Bookcorpus2 datasets, which are available in the Pile dataset [161].
•_책._ 다른 말뭉치와 비교할 때, 책은 공식적인 긴 텍스트의 중요한 출처를 제공하며, 이는 LLM이 언어적 지식을 학습하고, 장기 의존성을 모델링하며, 서사적이고 일관된 텍스트를 생성하는 데 잠재적으로 유익합니다. 오픈 소스 책 데이터를 얻기 위해, 기존 연구들은 보통 Pile 데이터셋 [161]에 포함된 Books3와 Bookcorpus2 데이터셋을 채택합니다.
\(\bullet\)_Books._ 다른 말뭉치에 비해 책은 잠재적으로 LLM이 언어 지식을 학습하고 장기 종속성을 모델링하며 내러티브와 일관성 있는 텍스트를 생성하는 데 유용한 공식적인 장문 텍스트의 중요한 원천을 제공합니다. 기존 연구에서는 오픈 소스 도서 데이터를 확보하기 위해 일반적으로 Pile 데이터 세트[161]에서 사용할 수 있는 Books3 및 Bookcorpus2 데이터 세트를 채택합니다.