The **phi-3-small** model (7B parameters) leverages the tiktoken tokenizer (for better multilingual tokenization) with a vocabulary size of 100352 and has default context length \(8K\). It follows the standard decoder architecture of a 7B model class, having 32 layers and a hidden size of 4096. To minimize KV cache footprint, the model also leverages a grouped-query attention, with 4 queries sharing 1 key. Moreover **phi-3-small** uses alternative layers of dense attention and a novel blocksparse attention to further optimize on KV cache savings while maintaining long context retrieval performance. An additional 10% multilingual data was also used for this model.
파이-3-스몰** 모델(7B 파라미터)은 어휘 크기가 100352인 tiktoken tokenizer(다국어 토큰화 개선을 위해)를 사용하며 기본 문맥 길이는 \(8K\)입니다. 32개의 레이어와 4096의 숨겨진 크기를 가진 7B 모델 클래스의 표준 decoder 아키텍처를 따릅니다. KV 캐시 발자국을 최소화하기 위해 이 모델은 4개의 쿼리가 1개의 키를 공유하는 grouped-query attention을 활용합니다. 또한 **phi-3-small**은 긴 문맥 검색 성능을 유지하면서 KV 캐시 절약을 더욱 최적화하기 위해 고밀도 attention과 새로운 blocksparse attention의 대체 레이어를 사용합니다. 이 모델에는 10%의 다국어 데이터도 추가로 사용되었습니다.
파이-3-스몰** 모델(7B 파라미터)은 어휘 크기가 100352인 tiktoken 토큰화 도구(다국어 토큰화 개선을 위해)를 사용하며 기본 문맥 길이는 \(8K\)입니다. 32개의 레이어와 4096의 숨겨진 크기를 가진 7B 모델 클래스의 표준 디코더 아키텍처를 따릅니다. KV 캐시 발자국을 최소화하기 위해 이 모델은 4개의 쿼리가 1개의 키를 공유하는 그룹화된 쿼리 주의도를 활용합니다. 또한 **phi-3-small**은 긴 문맥 검색 성능을 유지하면서 KV 캐시 절약을 더욱 최적화하기 위해 고밀도 주의와 새로운 블록스파스 주의의 대체 레이어를 사용합니다. 이 모델에는 10%의 다국어 데이터도 추가로 사용되었습니다.