The striking progress of AI in the last few years can be largely attributed to major efforts throughout the world towards _scaling-up_ to ever-larger models and datasets. Large Language Models (LLMs) have steadily increased in size from a mere billion parameters just five years ago (GPT-2 had 1.5 billion parameters [RWC\({}^{+}\)19]) to trillion parameters today. The impetus for this effort originates in the seemingly predictable improvement one obtains by training large models, the so-called _scaling laws_[KMH\({}^{+}\)20, HBM\({}^{+}\)22, MRB\({}^{+}\)23]. However these laws assume a "fixed" data source. This assumption is now significantly disrupted by the existence of frontier LLMs themselves, which allow us to interact with data in novel ways. In our previous works on the phi models [GZA\({}^{+}\)23, LBE\({}^{+}\)23, JBA\({}^{+}\)23] it was shown that a combination of LLM-based filtering of web data, and LLM-created synthetic data, enable performance in smaller language models that were typically seen only in much larger models. For example our previous model trained on this data recipe, **phi-2** (2.7B parameters), matched the performance of models 25 times larger trained on regular data. In this report we present a new model, **phi-3-mini** (3.8B parameters), trained for 3.3T tokens on larger and more advanced versions of the datasets used in **phi-2**. With its small size, **phi-3-mini** can easily be inferenced locally on a modern phone (see Figure 1), yet it achieves a quality that seems on-par with models such as Miktral 8x7B [JSR\({}^{+}\)24] and GPT-3.5.
지난 몇 년 동안 AI가 눈에 띄게 발전한 것은 전 세계적으로 더 큰 모델과 데이터 세트로 _scaling-up_하기 위한 주요 노력에 힘입은 바 크다. Large Language Models (LLMs)은 불과 5년 전 10억 개의 파라미터(GPT-2는 15억 개의 파라미터 [RWC\({}^{+}\)19])에 불과했던 규모가 오늘날에는 수조 개의 파라미터로 꾸준히 증가하고 있습니다. 이러한 노력의 원동력은 대규모 모델을 훈련함으로써 얻을 수 있는 예측 가능한 개선, 즉 소위 _scaling laws_[KMH\({}^{+}\)20, HBM\({}^{+}\)22, MRB\({}^{+}\)23]에서 비롯됩니다. 그러나 이러한 법칙은 "고정된" 데이터 소스를 가정합니다. 이러한 가정은 이제 새로운 방식으로 데이터와 상호 작용할 수 있는 최첨단 LLM의 존재로 인해 크게 깨지고 있습니다. phi 모델에 대한 이전 연구[GZA\({}^{+}\)23, LBE\({}^{+}\)23, JBA\({}^{+}\)23]에서 웹 데이터의 LLM 기반 필터링과 LLM 생성 synthetic data의 조합이 일반적으로 훨씬 더 큰 모델에서만 볼 수 있었던 소형 언어 모델에서 성능을 발휘할 수 있음을 보여주었습니다. 예를 들어, 이 데이터 레시피로 훈련된 이전 모델인 **phi-2**(파라미터 27억 개)는 일반 데이터로 훈련된 25배 더 큰 모델의 성능과 일치했습니다. 이 보고서에서는 **phi-2**에 사용된 데이터 세트의 더 크고 발전된 버전에서 3.3T 토큰에 대해 훈련된 새로운 모델인 **phi-3-mini**(파라미터 38억 개)를 소개합니다. 크기가 작은 **phi-3-mini**는 최신 휴대폰에서 쉽게 로컬 추론을 수행할 수 있습니다(그림 1 참조), 그러나 Miktral 8x7B [JSR\({}^{+}\)24] 및 GPT-3.5와 같은 모델과 비슷한 수준의 품질을 달성합니다.
지난 몇 년 동안 AI가 눈에 띄게 발전한 것은 전 세계적으로 더 큰 모델과 데이터 세트로 _확장_하기 위한 주요 노력에 힘입은 바 크다. 대규모 언어 모델(LLM)은 불과 5년 전 10억 개의 파라미터(GPT-2는 15억 개의 파라미터 [RWC\({}^{+}\)19])에 불과했던 규모가 오늘날에는 수조 개의 파라미터로 꾸준히 증가하고 있습니다. 이러한 노력의 원동력은 대규모 모델을 훈련함으로써 얻을 수 있는 예측 가능한 개선, 즉 소위 _스케일링 법칙_[KMH\({}^{+}\)20, HBM\({}^{+}\)22, MRB\({}^{+}\)23]에서 비롯됩니다. 그러나 이러한 법칙은 "고정된" 데이터 소스를 가정합니다. 이러한 가정은 이제 새로운 방식으로 데이터와 상호 작용할 수 있는 최첨단 LLM의 존재로 인해 크게 깨지고 있습니다. phi 모델에 대한 이전 연구[GZA\({}^{+}\)23, LBE\({}^{+}\)23, JBA\({}^{+}\)23]에서 웹 데이터의 LLM 기반 필터링과 LLM 생성 합성 데이터의 조합이 일반적으로 훨씬 더 큰 모델에서만 볼 수 있었던 소형 언어 모델에서 성능을 발휘할 수 있음을 보여주었습니다. 예를 들어, 이 데이터 레시피로 훈련된 이전 모델인 **phi-2**(파라미터 27억 개)는 일반 데이터로 훈련된 25배 더 큰 모델의 성능과 일치했습니다. 이 보고서에서는 **phi-2**에 사용된 데이터 세트의 더 크고 발전된 버전에서 3.3T 토큰에 대해 훈련된 새로운 모델인 **phi-3-mini**(파라미터 38억 개)를 소개합니다. 크기가 작은 **phi-3-mini**는 최신 휴대폰에서 쉽게 로컬 추론을 수행할 수 있습니다(그림 1 참조), 그러나 Miktral 8x7B [JSR\({}^{+}\)24] 및 GPT-3.5와 같은 모델과 비슷한 수준의 품질을 달성합니다.