Highly capable language model running locally on a cell-phone.Thanks to its small size, **phi-3-mini** can be quantized to 4-bits so that it only occupies \(*\) 1.8GB of memory. We tested the quantized model by deploying **phi-3-mini** on iPhone 14 with A16 Bionic chip running natively on-device and fully offline achieving more than 12 tokens per second.
휴대폰에서 로컬로 실행되는 고성능 언어 모델. 크기가 작기 때문에 **phi-3-mini**는 4비트로 Quantization하여 \(*\) 1.8GB의 메모리만 차지합니다. Quantized 모델을 테스트하기 위해 A16 Bionic 칩이 탑재된 iPhone 14에 **phi-3-mini**를 배포하여 온디바이스에서 완전 오프라인으로 실행하여 초당 12개 이상의 토큰을 달성했습니다.
휴대폰에서 로컬로 실행되는 고성능 언어 모델.크기가 작기 때문에 **phi-3-mini**는 4비트로 양자화하여 \(*\) 1.8GB의 메모리만 차지합니다. 양자화된 모델을 테스트하기 위해 A16 바이오닉 칩이 탑재된 iPhone 14에 **phi-3-mini**를 배포하여 온디바이스에서 완전 오프라인으로 실행하여 초당 12개 이상의 토큰을 달성했습니다.