In terms of LLM capabilities, while **phi-3-mini** model achieves similar level of language understanding and reasoning ability as much larger models, it is still fundamentally limited by its size for certain tasks. The model simply does not have the capacity to store too much "factual knowledge", which can be seen for example with low performance on TriviaQA. However, we believe such weakness can be resolved by augmentation with a search engine. We show an example using the HuggingFace default Chat-UI with **phi-3-mini** in Figure 4. Another weakness related to model's capacity is that we mostly restricted the language to English. Exploring multilingual capabilities for Small Language Models is an important next step, with some initial promising results on **phi-3-small** by including more multilingual data.
LLM 기능 측면에서 **phi-3-mini** 모델은 훨씬 더 큰 모델과 비슷한 수준의 language understanding와 reasoning 능력을 달성하지만, 특정 작업에서는 여전히 크기로 인해 근본적으로 제한됩니다. 예를 들어 TriviaQA에서 낮은 성능으로 볼 수 있듯이 이 모델은 너무 많은 'factual knowledge'를 저장할 수 있는 용량이 부족합니다. 그러나 이러한 약점은 검색 엔진으로 보완할 수 있다고 생각합니다. 그림 4에서 **phi-3-mini**와 함께 HuggingFace 기본 Chat-UI를 사용한 예를 보여드립니다. 모델의 용량과 관련된 또 다른 약점은 대부분의 언어를 영어로 제한했다는 것입니다. Small Language Models에 대한 다국어 기능을 탐색하는 것은 중요한 다음 단계이며, 다국어 데이터를 더 많이 포함시킴으로써 **phi-3-small**에 대한 초기의 유망한 결과가 나왔습니다.
LLM 기능 측면에서 **phi-3-mini** 모델은 훨씬 더 큰 모델과 비슷한 수준의 언어 이해와 추론 능력을 달성하지만, 특정 작업에서는 여전히 크기로 인해 근본적으로 제한됩니다. 예를 들어 퀴즈QA에서 낮은 성능으로 볼 수 있듯이 이 모델은 너무 많은 '사실적 지식'을 저장할 수 있는 용량이 부족합니다. 그러나 이러한 약점은 검색 엔진으로 보완할 수 있다고 생각합니다. 그림 4에서 **phi-3-mini**와 함께 HuggingFace 기본 채팅 UI를 사용한 예를 보여드립니다. 모델의 용량과 관련된 또 다른 약점은 대부분의 언어를 영어로 제한했다는 것입니다. 소규모 언어 모델에 대한 다국어 기능을 탐색하는 것은 중요한 다음 단계이며, 다국어 데이터를 더 많이 포함시킴으로써 **phi-3-small**에 대한 초기의 유망한 결과가 나왔습니다.