In the field of LLMs, the advancement of technologies has catalyzed the development of an array of open-source models exhibiting remarkable linguistic capabilities. Notably, models such as LLaMA (Touvron et al., 2023; Zhu et al., 2023), Phi (Li et al., 2023; Gunasekar et al., 2023), Mistral (Jiang et al., 2023), and Gemma (Team et al., 2024) have emerged as frontrunners, underscoring the technological strides made in this arena. Amidst a globalized context, there's a rising demand for models proficient in bilingual or multilingual functionalities, particularly those accommodating the vast spectrum of Chinese language applications. This demand stems from the desire for localized solutions and the necessity to bridge linguistic divides worldwide. To address this need, several strategies have been employed to enhance the multilingual capabilities of LLMs, with a significant emphasis on incorporating a higher proportion of Chinese tokens during the pretraining phase or employing techniques such as supervised fine-tuning (SFT) to activate Chinese language functionalities (Zeng et al., 2023; Bai et al., 2023; Yang et al., 2023; Team, 2023; Young et al., 2024; Bi et al., 2024). An early example in this endeavor is ChatGLM (Zeng et al., 2023), which pioneered the use of an equal distribution of Chinese and English tokens during its pretraining phase, culminating in a proficient bilingual model. Following this, models like Owen (Bai et al., 2023) have expanded the linguistic horizon by integrating multilingual data in the pretraining process, thereby achieving broader language support. Furthermore, models such as Yi (Young et al., 2024) and DeepSeek (Bi et al., 2024) have demonstrated the efficacy of meticulous SFI applications in unlocking multilingual capabilities, with a notable prowess in Chinese language reasoning. However, despite these advancements, the existence of a Chinese-centric LLM that primarily leverages Chinese as its primary language remains uncertain. This gap highlights a critical area of interest for developing localized, open-source Chinese models, underscoring the significance of tailored approaches in the evolution of language technologies.
LLM 분야에서 기술의 발전은 놀라운 언어 능력을 보여주는 다양한 오픈 소스 모델의 개발을 촉진했습니다. 특히 LLaMA(Touvron et al., 2023; Zhu et al., 2023), Phi(Li et al., 2023; Gunasekar et al., 2023), Mistral(Jiang et al., 2023), Gemma(Team et al., 2024)과 같은 모델이 선두주자로 떠오르며 이 분야에서 이루어진 기술적 진전을 강조하고 있습니다. 글로벌화되는 맥락 속에서 특히 방대한 스펙트럼의 중국어 애플리케이션을 수용하는 이중 언어 또는 다중 언어 기능에 능숙한 모델에 대한 수요가 증가하고 있습니다. 이러한 수요는 현지화된 솔루션에 대한 욕구와 전 세계의 언어적 격차를 해소해야 할 필요성에서 비롯됩니다. 이러한 요구를 해결하기 위해 LLM의 다국어 기능을 향상시키기 위해 사전 학습 단계에서 중국어 토큰의 비율을 높게 설정하거나 Supervised Fine-tuning (SFT)과 같은 기술을 사용하여 중국어 기능을 활성화하는 등 여러 가지 전략이 사용되었습니다(Zeng et al., 2023; Bai et al., 2023; Yang et al., 2023; 팀, 2023; Young et al., 2024; Bi et al., 2024). 이러한 노력의 초기 사례로는 사전 학습 단계에서 중국어와 영어 토큰을 동등하게 분배하여 능숙한 이중 언어 모델을 개발한 ChatGLM(Zeng et al., 2023)이 있습니다. 이후 Owen(Bai et al., 2023)과 같은 모델은 사전 학습 과정에서 다국어 데이터를 통합하여 언어 지원 범위를 확장했습니다. 또한 Yi(Young et al., 2024) 및 DeepSeek(Bi et al., 2024)와 같은 모델은 다국어 기능을 활성화하는 데 있어 세심한 SFT 적용의 효과를 입증했으며, 특히 중국어 추론에 뛰어난 능력을 보여주었습니다. 그러나 이러한 발전에도 불구하고 중국어를 주요 언어로 사용하는 중국어 중심 LLM의 존재는 여전히 불확실합니다. 이러한 격차는 현지화된 오픈 소스 중국어 모델을 개발하기 위한 중요한 관심 분야를 강조하며, 언어 기술의 발전에서 맞춤형 접근 방식의 중요성을 강조합니다.
LLM 분야에서 기술의 발전은 놀라운 언어 능력을 보여주는 다양한 오픈 소스 모델의 개발을 촉진했습니다. 특히 LLaMA(Touvron et al., 2023; Zhu et al., 2023), Phi(Li et al., 2023; Gunasekar et al., 2023), Mistral(Jiang et al., 2023), Gemma(Team et al., 2024)과 같은 모델이 선두주자로 떠오르며 이 분야에서 이루어진 기술적 진전을 강조하고 있습니다. 글로벌화되는 맥락 속에서 특히 방대한 스펙트럼의 중국어 애플리케이션을 수용하는 이중 언어 또는 다중 언어 기능에 능숙한 모델에 대한 수요가 증가하고 있습니다. 이러한 수요는 현지화된 솔루션에 대한 욕구와 전 세계의 언어적 격차를 해소해야 할 필요성에서 비롯됩니다. 이러한 요구를 해결하기 위해 LLM의 다국어 기능을 향상시키기 위해 사전 학습 단계에서 중국어 토큰의 비율을 높게 설정하거나 지도 미세 조정(SFT)과 같은 기술을 사용하여 중국어 기능을 활성화하는 등 여러 가지 전략이 사용되었습니다(Zeng et al., 2023; Bai et al., 2023; Yang et al., 2023; 팀, 2023; Young et al., 2024; Bi et al., 2024). 이러한 노력의 초기 사례로는 사전 학습 단계에서 중국어와 영어 토큰을 동등하게 분배하여 능숙한 이중 언어 모델을 개발한 ChatGLM(Zeng et al., 2023)이 있습니다. 이후 Owen(Bai et al., 2023)과 같은 모델은 사전 학습 과정에서 다국어 데이터를 통합하여 언어 지원 범위를 확장했습니다. 또한 Yi(Young et al., 2024) 및 DeepSeek(Bi et al., 2024)와 같은 모델은 다국어 기능을 활성화하는 데 있어 세심한 SFI 적용의 효과를 입증했으며, 특히 중국어 추론에 뛰어난 능력을 보여주었습니다. 그러나 이러한 발전에도 불구하고 중국어를 주요 언어로 사용하는 중국어 중심 LLM의 존재는 여전히 불확실합니다. 이러한 격차는 현지화된 오픈 소스 중국어 모델을 개발하기 위한 중요한 관심 분야를 강조하며, 언어 기술의 발전에서 맞춤형 접근 방식의 중요성을 강조합니다.