On the next page we report the results for **phi-3-mini** on standard open-source benchmarks measuring the model's reasoning ability (both common sense reasoning and logical reasoning). We compare to phi-2 [JBA\({}^{+}\)23], Mistral-7b-v0.1 [JSM\({}^{+}\)23], Mistral-8x7b [JSR\({}^{+}\)24], Gemma 7B [TMH\({}^{+}\)24], Llama-3-instruct-8b [AI23], and GPT-3.5. All the reported numbers are produced with the exact same pipeline to ensure that the numbers are comparable. These numbers might differ from other published numbers due to slightly different choices in the evaluation. As is now standard, we use few-shot prompts to evaluate the models, at temperature 0. The prompts and number of shots are part of a Microsoft internal tool to evaluate language models, and in particular we did no optimization to the pipeline for the **phi-3** models.3 The number of \(k\)-shot examples is listed per-benchmark. An example of a 2-shot prompt is described in Appendix A.
다음 페이지에서는 모델의 추론 능력(상식 추론과 논리 추론 모두)을 측정하는 표준 오픈 소스 벤치마크에서 **phi-3-mini**에 대한 결과를 보고합니다. phi-2 [JBA\({}^{+}\)23], Mistral-7b-v0.1 [JSM\({}^{+}\)23], Mistral-8x7b [JSR\({}^{+}\)24], Gemma 7B [TMH\({}^{+}\)24], Llama-3-instruct-8b [AI23], GPT-3.5와 비교합니다. 보고된 모든 수치는 정확히 동일한 파이프라인으로 생성되어 비교 가능한 수치입니다. 이러한 수치는 평가에 대한 약간의 선택이 다르기 때문에 다른 게시된 수치와 다를 수 있습니다. 현재 표준처럼 temperature 0에서 few-shot prompts를 사용하여 모델을 평가합니다. prompts와 shot 수는 언어 모델을 평가하기 위한 Microsoft 내부 도구의 일부이며, 특히 **phi-3** 모델에 대한 파이프라인에 대한 최적화를 수행하지 않았습니다. \(k\)-shot 예제의 수는 벤치마크별로 나열되어 있습니다. 2-shot prompt의 예는 부록 A에 설명되어 있습니다.
다음 페이지에서는 모델의 추론 능력(상식 추론과 논리 추론 모두)을 측정하는 표준 오픈 소스 벤치마크에서 **phi-3-mini**에 대한 결과를 보고합니다. phi-2 [JBA\({}^{+}\)23], Mistral-7b-v0.1 [JSM\({}^{+}\)23], Mistral-8x7b [JSR\({}^{+}\)24], Gemma 7B [TMH\({}^{+}\)24], Llama-3-instruct-8b [AI23], GPT-3.5와 비교합니다. 보고된 모든 수치는 정확히 동일한 파이프라인으로 생성되어 비교 가능한 수치입니다. 이러한 수치는 평가에 대한 약간의 선택이 다르기 때문에 다른 게시된 수치와 다를 수 있습니다. 현재 표준처럼 저온 0에서 몇 개의 샷 프롬프트를 사용하여 모델을 평가합니다. 프롬프트와 샷 수는 언어 모델을 평가하기 위한 Microsoft 내부 도구의 일부이며, 특히 **phi-3** 모델에 대한 파이프라인에 대한 최적화를 수행하지 않았습니다.3 k-샷 예제의 수는 벤치마크별로 나열되어 있습니다. 2샷 프롬프트의 예는 부록 A에 설명되어 있습니다.