In practice, it commonly requires a mixture of different data sources for pre-training LLMs (see Figure 6), instead of a single corpus. Therefore, existing studies commonly mix several ready-made datasets (_e.g._, C4, OpenWebText, and the Pile), and then perform further processing to obtain the pre-training corpus. Furthermore, to train the LLMs that are adaptive to specific applications, it is also important to extract data from relevant sources (_e.g._, Wikipedia and BigQuery) for enriching the corresponding information in pre-training data.
실제로 사전 학습 LLM에는 일반적으로 단일 말뭉치가 아닌 다양한 데이터 소스의 혼합이 필요합니다(그림 6 참조). 따라서 기존 연구에서는 일반적으로 여러 가지 기성 데이터 세트(예: C4, OpenWebText, Pile)를 혼합한 다음 추가 처리를 수행하여 pre-training 말뭉치를 얻습니다. 또한 특정 애플리케이션에 적합한 LLM을 훈련하려면 pre-training 데이터의 해당 정보를 보강하기 위해 관련 소스(예: Wikipedia 및 BigQuery)에서 데이터를 추출하는 것도 중요합니다.
실제로 사전 학습 LLM에는 일반적으로 단일 말뭉치가 아닌 다양한 데이터 소스의 혼합이 필요합니다(그림 6 참조). 따라서 기존 연구에서는 일반적으로 여러 가지 기성 데이터 세트(예: C4, OpenWebText, Pile)를 혼합한 다음 추가 처리를 수행하여 사전 학습 말뭉치를 얻습니다. 또한 특정 애플리케이션에 적합한 LLM을 훈련하려면 사전 학습 데이터의 해당 정보를 보강하기 위해 관련 소스(예: Wikipedia 및 BigQuery)에서 데이터를 추출하는 것도 중요합니다.