After Int4 quantization in Appendix D, MiniCPM-2.4B's footprint is reduced to 2GB, facilitating deployment on mobile edge devices. We adapted the model for Android and HarmonyOS using MLC-LLM (team, 2023b) and employed LLMFarm (team, 2023a) for adaptation to the iPhone system. This adaptation was tested on various edge mobile devices.
부록 D의 Int4 Quantization 후, MiniCPM-2.4B의 풋프린트는 2GB로 축소되어 모바일 엣지 디바이스에 배포가 용이해졌습니다. MLC-LLM(팀, 2023b)을 사용하여 Android 및 HarmonyOS용 모델을 조정하고 iPhone 시스템에 적용하기 위해 LLMFarm(팀, 2023a)을 사용했습니다. 이 적응은 다양한 엣지 모바일 디바이스에서 테스트되었습니다.
부록 D의 Int4 양자화 후, MiniCPM-2.4B의 풋프린트는 2GB로 축소되어 모바일 엣지 디바이스에 배포가 용이해졌습니다. MLC-LLM(팀, 2023b)을 사용하여 Android 및 HarmonyOS용 모델을 조정하고 iPhone 시스템에 적용하기 위해 LLMFarm(팀, 2023a)을 사용했습니다. 이 적응은 다양한 엣지 모바일 디바이스에서 테스트되었습니다.