Training Methodology.We follow the sequence of works initiated in "Textbooks Are All You Need" [GZA\({}^{+}\)23], which utilize high quality training data to improve the performance of small language models and deviate from the standard _scaling-laws_. In this work we show that such method allows to reach the level of highly capable models such as GPT-3.5 or Mistral with only 3.8B total parameters (while Mistral has 45B total parameters for example). Our training data of consists of heavily filtered web data (according to the "educational level") from various open internet sources, as well as synthetic LLM-generated data. Pre-training is performed in two disjoint and sequential phases; phase-1 comprises mostly of web sources aimed at teaching the model general knowledge and language understanding. Phase-2 merges even more heavily filtered webdata (a subset used in Phase-1) with some synthetic data that teach the model logical reasoning and various niche skills.
훈련 방법론. 우리는 고품질 훈련 데이터를 활용하여 소규모 언어 모델의 성능을 개선하고 표준 _scaling-laws_에서 벗어나는 "Textbooks Are All You Need" [GZA\({}^{+}\)23]에서 시작된 작업 순서를 따릅니다. 이 연구에서는 이러한 방법을 통해 총 파라미터가 3.8B에 불과한 상태에서 GPT-3.5 또는 Mistral과 같은 고도로 유능한 모델의 수준에 도달할 수 있음을 보여주었습니다(예: Mistral의 총 파라미터는 45B입니다). 훈련 데이터는 다양한 오픈 인터넷 소스의 '교육 수준'에 따라 심층적으로 필터링된 웹 데이터와 LLM이 생성한 합성 데이터로 구성됩니다. Pre-training은 두 개의 분리된 순차적 단계로 수행되며, phase-1은 모델에 일반적인 지식과 언어 이해를 가르치기 위한 웹 소스가 대부분을 차지합니다. phase-2에서는 더욱 심층적으로 필터링된 웹 데이터(phase-1에서 사용된 하위 집합)와 합성 데이터를 병합하여 모델에 논리적 추론 및 다양한 틈새 기술을 가르칩니다.
훈련 방법론.우리는 고품질 훈련 데이터를 활용하여 소규모 언어 모델의 성능을 개선하고 표준 _스케일링 법칙_에서 벗어나는 "교과서는 모두 필요하다" [GZA\({}^{+}\)23]에서 시작된 작업 순서를 따릅니다. 이 연구에서는 이러한 방법을 통해 총 파라미터가 38억 개에 불과한 상태에서 GPT-3.5 또는 미스트랄과 같은 고도로 유능한 모델의 수준에 도달할 수 있음을 보여주었습니다(예: 미스트랄의 총 파라미터는 450억 개입니다). 훈련 데이터는 다양한 오픈 인터넷 소스의 '교육 수준'에 따라 심층적으로 필터링된 웹 데이터와 LLM이 생성한 합성 데이터로 구성됩니다. 사전 학습은 두 개의 분리된 순차적 단계로 수행되며, 1단계는 모델에 일반적인 지식과 언어 이해를 가르치기 위한 웹 소스가 대부분을 차지합니다. 2단계에서는 더욱 심층적으로 필터링된 웹 데이터(1단계에서 사용된 하위 집합)와 합성 데이터를 병합하여 모델에 논리적 추론 및 다양한 틈새 기술을 가르칩니다.