We introduce **phi-3-mini**, a 3.8 billion parameter language model trained on 3.3 trillion tokens, whose overall performance, as measured by both academic benchmarks and internal testing, rivals that of models such as Miktral 8x7B and GPT-3.5 (e.g., **phi-3-mini** achieves 69% on MMLU and 8.38 on MT-bench), despite being small enough to be deployed on a phone. The innovation lies entirely in our dataset for training, a scaled-up version of the one used for **phi-2**, composed of heavily filtered web data and synthetic data. The model is also further aligned for robustness, safety, and chat format. We also provide some initial parameter-scaling results with a 7B and 14B models trained for 4.8T tokens, called **phi-3-small** and **phi-3-medium**, both significantly more capable than **phi-3-mini** (e.g., respectively 75% and 78% on MMLU, and 8.7 and 8.9 on MT-bench).
3.3조 토큰으로 학습된 38억 개의 파라미터를 가진 언어 모델인 **phi-3-mini**를 소개합니다. 학술 benchmark와 내부 testing을 통해 측정한 전반적인 성능은 휴대폰에 배포할 수 있을 만큼 작은 모델임에도 불구하고 Miktral 8x7B 및 GPT-3.5와 같은 모델에 필적합니다(예: **phi-3-mini**는 MMLU에서 69%, MT-bench에서 8.38을 달성함). 이 모델의 혁신은 전적으로 학습용 데이터 세트에 있으며, 이 데이터 세트는 심층 필터링된 웹 데이터와 합성 데이터로 구성된 **phi-2**에 사용된 데이터 세트의 확장 버전입니다. 또한 이 모델은 robustness, safety 및 채팅 형식에 대해 더욱 정렬되어 있습니다. 또한 4.8T 토큰에 대해 학습된 7B 및 14B 모델인 **phi-3-small** 및 **phi-3-medium**에 대한 초기 parameter-scaling 결과를 제공하며, 두 모델 모두 **phi-3-mini**보다 훨씬 더 강력합니다(예: 각각 MMLU에서 75% 및 78%, MT-bench에서 8.7 및 8.9).
3.3조 토큰으로 학습된 38억 개의 파라미터를 가진 언어 모델인 **phi-3-mini**를 소개합니다. 학술 벤치마크와 내부 테스트를 통해 측정한 전반적인 성능은 휴대폰에 배포할 수 있을 만큼 작은 모델임에도 불구하고 Miktral 8x7B 및 GPT-3.5와 같은 모델에 필적합니다(예: **phi-3-mini**는 MMLU에서 69%, MT-bench에서 8.38을 달성함). 이 모델의 혁신은 전적으로 학습용 데이터 세트에 있으며, 이 데이터 세트는 심층 필터링된 웹 데이터와 합성 데이터로 구성된 **phi-2**에 사용된 데이터 세트의 확장 버전입니다. 또한 이 모델은 견고성, 안전성 및 채팅 형식에 대해 더욱 정렬되어 있습니다. 또한 4.8T 토큰에 대해 학습된 7B 및 14B 모델인 **phi-3-small** 및 **phi-3-medium**에 대한 초기 파라미터 스케일링 결과를 제공하며, 두 모델 모두 **phi-3-mini**보다 훨씬 더 강력합니다(예: 각각 MMLU에서 75% 및 78%, MT-bench에서 8.7 및 8.9).