Figure 2: Scaling law close to the “Data Optimal Regime” (from left to right: phi-1.5, phi-2, phi-3-mini, phi-3-small) versus Llama-2 family of models (7B, 13B, 34B, 70B) that were trained on the same fixed data. We plot the log of MMLU error versus the log of model size.
그림 2: 동일한 고정 데이터에 대해 학습된 Llama-2 모델 제품군(7B, 13B, 34B, 70B)과 "Data Optimal Regime"에 가까운 Scaling law(왼쪽에서 오른쪽으로: phi-1.5, phi-2, phi-3-mini, phi-3-small)을 플롯합니다. 모델 크기의 로그에 대한 MMLU 오류의 로그를 플롯합니다.
그림 2: 동일한 고정 데이터에 대해 학습된 람다-2 모델 제품군(7B, 13B, 34B, 70B)과 "데이터 최적 레짐"에 가까운 스케일링 법칙(왼쪽에서 오른쪽으로: 파이-1.5, 파이-2, 파이-3-미니, 파이-3-스몰)을 플롯합니다. 모델 크기의 로그에 대한 MMLU 오류의 로그를 플롯합니다.