\(\bullet\)_Data collection_. It is suggested to include diverse data sources in the pre-training data. Although Falcon [141] shows that webpages alone can be employed to train powerful LLMs, a more typical approach is to also incorporate diverse high-quality text like code, books, scientific papers, _etc._ If a LLM is specialized with a certain skill, the proportion of corresponding data source should be increased accordingly. For example, Gopher [64] and Chinchilla [34] are trained with approximately 40% of data from books. PaLM [44] and LaMDA [68] use approximately 50% conversational data.
\(\bullet\)_Data collection_. 사전 학습 데이터에 다양한 데이터 소스를 포함하는 것이 좋습니다. 비록 Falcon [141]은 웹 페이지만으로도 강력한 LLMs을 훈련할 수 있음을 보여주지만, 보다 일반적인 접근 방식은 코드, 책, 과학 논문 등과 같은 다양한 고품질 텍스트도 통합하는 것입니다. 특정 기술로 특화된 LLM인 경우 해당 데이터 소스의 비율을 그에 따라 늘려야 합니다. 예를 들어, Gopher [64]와 Chinchilla [34]는 책 데이터의 약 40%로 학습됩니다. PaLM [44] 및 LaMDA [68]는 약 50%의 대화 데이터를 사용합니다.
\(\bullet\)_데이터 수집_. 사전 학습 데이터에 다양한 데이터 소스를 포함하는 것이 좋습니다. Falcon [141]은 웹 페이지만으로도 강력한 LLM을 훈련할 수 있음을 보여주지만, 보다 일반적인 접근 방식은 코드, 책, 과학 논문 등과 같은 다양한 고품질 텍스트도 통합하는 것입니다. 특정 기술로 특화된 LLM인 경우 해당 데이터 소스의 비율을 그에 따라 늘려야 합니다. 예를 들어, 고퍼 [64]와 친칠라 [34]는 책 데이터의 약 40%로 학습됩니다. PaLM [44] 및 LaMDA [68]는 약 50%의 대화 데이터를 사용합니다.