To test our data on larger size of models, we also trained **phi-3-medium**, a model with 14B parameters using the same tokenizer and architecture of **phi-3-mini**, and trained on the same data for slightly more epochs (4.8T tokens total as for **phi-3-small**). The model has 40 heads and 40 layers, with embedding dimension 5120. We observe that some benchmarks improve much less from 7B to 14B than they do from 3.8B to 7B, perhaps indicating that our data mixture needs further work to be in the "data optimal regime" for 14B parameters model. We are still actively investigating some of those benchmarks (including a regression on HumanEval), hence the numbers for **phi-3-medium** should be considered as a "preview".
더 큰 규모의 모델에 대한 데이터를 테스트하기 위해 파라미터가 14B인 모델인 **phi-3-medium**도 동일한 tokenizer 및 architecture를 사용하여 **phi-3-mini**를 학습하고, 동일한 데이터에 대해 약간 더 많은 epoch(총 4.8T tokens) 동안 학습했습니다. 이 모델은 embedding 차원이 5120인 40개의 head와 40개의 layer를 가지고 있습니다. 일부 benchmark는 7B에서 14B로 갈수록 3.8B에서 7B로 갈수록 benchmark가 7B에서 14B로 갈수록 훨씬 덜 개선되는 것을 관찰할 수 있는데, 이는 14B 파라미터 모델에 대해 "data optimal regime"에 도달하기 위해 data mixture에 추가 작업이 필요하다는 것을 나타냅니다. 일부 benchmark(HumanEval 회귀 포함)를 계속 조사하고 있으므로 **phi-3-medium**의 수치는 "미리보기"로 간주해야 합니다.
더 큰 규모의 모델에 대한 데이터를 테스트하기 위해 파라미터가 14B인 모델인 **phi-3-medium**도 동일한 토큰화 및 아키텍처를 사용하여 **phi-3-mini**를 학습하고, 동일한 데이터에 대해 약간 더 많은 에포크(총 4.8T 토큰) 동안 학습했습니다. 이 모델은 임베딩 차원이 5120인 40개의 헤드와 40개의 레이어를 가지고 있습니다. 일부 벤치마크는 7B에서 14B로 갈수록 3.8B에서 7B로 갈수록 벤치마크가 7B에서 14B로 갈수록 훨씬 덜 개선되는 것을 관찰할 수 있는데, 이는 14B 파라미터 모델에 대해 "데이터 최적 레짐"에 도달하기 위해 데이터 혼합에 추가 작업이 필요하다는 것을 나타냅니다. 일부 벤치마크(HumanEval 회귀 포함)를 계속 조사하고 있으므로 **phi-3-medium**의 수치는 "미리보기"로 간주해야 합니다.