In contrast to earlier PLMs, LLMs which consist of a significantly larger number of parameters require a higher volume of training data that covers a broad range of content. For this need, there are increasingly more accessible training datasets that have been released for research. In this section, we will briefly summarize several widely used corpora for training LLMs. Based on their content types, we categorize these corpora into six groups: Books, CommonCrawl, Reddit links, Wikipedia, Code, and others.
이전의 PLM과 달리, 훨씬 더 많은 수의 파라미터로 구성된 LLM은 광범위한 내용을 다루는 더 많은 양의 훈련 데이터를 필요로 합니다. 이러한 필요를 충족시키기 위해 연구를 위해 공개된 접근 가능한 훈련 데이터셋이 점점 더 많아지고 있습니다. 이 섹션에서는 LLM 훈련에 널리 사용되는 여러 코퍼스를 간략히 요약하겠습니다. 내용 유형에 따라 이들 코퍼스를 책, CommonCrawl, Reddit 링크, Wikipedia, 코드, 기타 등 6개의 그룹으로 분류합니다.
훨씬 더 많은 수의 파라미터로 구성된 LLM은 이전 PLM과 달리 광범위한 콘텐츠를 포괄하는 더 많은 양의 학습 데이터를 필요로 합니다. 이러한 필요성에 따라 연구용으로 공개된 학습 데이터 세트가 점점 더 많아지고 있습니다. 이 섹션에서는 LLM 학습에 널리 사용되는 몇 가지 코퍼스를 간략하게 요약합니다. 콘텐츠 유형에 따라 이러한 코퍼스를 도서, CommonCrawl, Reddit 링크, Wikipedia, 코드 및 기타의 6가지 그룹으로 분류합니다.