To develop a capable LLM, it is key to collect a large amount of natural language corpus from various data sources. Existing LLMs mainly leverage a mixture of diverse public textual datasets as the pre-training corpus. Figure 6 shows the distribution of the sources of pre-training data for a number of representative LLMs.
유능한 LLM을 개발하려면 다양한 데이터 소스에서 대량의 자연어 말뭉치를 수집하는 것이 핵심이다. 기존 LLM은 주로 다양한 공개 텍스트 데이터 세트를 pre-training 말뭉치로 활용한다. 그림 6은 여러 대표적인 LLM의 pre-training 데이터 소스 분포를 보여준다.
유능한 LLM을 개발하려면 다양한 데이터 소스에서 대량의 자연어 말뭉치를 수집하는 것이 핵심이다. 기존 LLM은 주로 다양한 공개 텍스트 데이터 세트를 사전 학습 말뭉치로 활용한다. 그림 6은 여러 대표적인 LLM의 사전 학습 데이터 소스 분포를 보여준다.