Recently, a resurgence of interest has been observed in the domain of SLMs, evidenced by the advent of a series of innovative models such as the Phi series (Gunasekar et al., 2023; Li et al., 2023; Javaheripi and Bubeck, 2023), TinyLlama (Zhang et al., 2024), MobileLLM (Liu et al., 2024), and Gemma (Banks and Warkentin, 2024), among others. While these models have significantly contributed to the expansion and diversification of the SLM landscape, there remain two pivotal areas where these models have yet to fully satisfy prevailing interests: (1) the development of comprehensive abilities akin to those exhibited by LLMs; and (2) the formulation of transparent and scalable training methodologies that could further propel the evolution of both SLMs and LLMs.
최근 들어, Phi 시리즈(Gunasekar et al., 2023; Li et al., 2023; Javaheripi and Bubeck, 2023), TinyLlama(Zhang et al., 2024), MobileLLM(Liu et al., 2024), Gemma(Banks and Warkentin, 2024) 등 새로운 모델들이 등장하면서 SLM 분야에 대한 관심이 다시 높아지고 있습니다. 이러한 모델들은 SLM 환경의 확장과 다양화에 크게 기여했지만, 아직까지 두 가지 핵심 영역에서 기대에 부응하지 못하고 있습니다: (1) LLM과 유사한 종합적인 능력 개발, (2) SLM과 LLM의 발전을 더욱 촉진할 수 있는 투명하고 확장 가능한 training methodologies 개발입니다.
최근 들어, Phi 시리즈(Gunasekar et al., 2023; Li et al., 2023; Javaheripi and Bubeck, 2023), TinyLlama(Zhang et al., 2024), MobileLLM(Liu et al., 2024), Gemma(Banks and Warkentin, 2024) 등 새로운 모델들이 등장하면서 SLM 분야에 대한 관심이 다시 높아지고 있습니다. 이러한 모델들은 SLM 환경의 확장과 다양화에 크게 기여했지만, 아직까지 두 가지 핵심 영역에서 기대에 부응하지 못하고 있습니다: (1) LLM과 유사한 종합적인 능력 개발, (2) SLM과 LLM의 발전을 더욱 촉진할 수 있는 투명하고 확장 가능한 훈련 방법론 개발입니다.