To best benefit the open source community, **phi-3-mini** is built upon a similar block structure as Llama-2 [TLI\({}^{+}\)23] and uses the same tokenizer with vocabulary size of 320641. This means that all packages developed for Llama-2 family of models can be directly adapted to **phi-3-mini**. The model uses 3072 hidden dimension, 32 heads and 32 layers. We trained using bfloat16 for a total of 3.3T tokens.
오픈 소스 커뮤니티에 가장 큰 혜택을 주기 위해 **phi-3-mini**는 Llama-2 [TLI\({}^{+}\)23]와 유사한 블록 구조를 기반으로 하며 어휘 크기가 320641인 동일한 tokenizer를 사용합니다. 즉, Llama-2 모델 제품군을 위해 개발된 모든 패키지를 **phi-3-mini**에 직접 적용할 수 있습니다. 이 모델은 3072개의 숨겨진 차원, 32개의 heads, 32개의 layers를 사용합니다. 총 3.3T tokens에 대해 bfloat16을 사용하여 훈련했습니다.
오픈 소스 커뮤니티에 가장 큰 혜택을 주기 위해 **phi-3-mini**는 Llama-2 [TLI\({}^{+}\)23]와 유사한 블록 구조를 기반으로 하며 어휘 크기가 320641인 동일한 토큰화기를 사용합니다. 즉, Llama-2 모델 제품군을 위해 개발된 모든 패키지를 **phi-3-mini**에 직접 적용할 수 있습니다. 이 모델은 3072개의 숨겨진 차원, 32개의 헤드, 32개의 레이어를 사용합니다. 총 3.3T 토큰에 대해 bfloat16을 사용하여 훈련했습니다.