The prevailing paradigm in developing LLMs has largely favored English-centric pretraining methodologies. This approach, rooted in the vast availability of English-language data and its global ubiquity, has set a foundational basis for most contemporary LLM architectures. Subsequently, strategies such as continuing pretraining, supervised fine-tuning, and instruction fine-tuning (IFT) have been employed to extend these models' linguistic reach, enabling the activation of multilingual capacities (Zeng et al., 2023; Bai et al., 2023; Yang et al., 2023; Team, 2023; Young et al., 2024; Bi et al., 2024). These methodologies have proven effective, showcasing the adaptability of LLMs to accommodate linguistic diversity beyond their initial English-centric training, with representative examples Chinese-Mixtral (Cui and Yao, 2024) and Chinese-Mixtral-Instruct (Cui and Yao, 2024). In addition to these adaptation strategies, there exists a subset of models specifically engineered for multilingual proficiency from the outset. Models like BLOOM (Le Scao et al., 2022) and Aya (Ustin et al., 2024) exemplify this approach, incorporating a multitude of languages throughout both their pretraining and fine-tuning phases. Despite these efforts to integrate linguistic diversity, English invariably remains the dominant language within these models (Zhao et al., 2024). In this discourse, we explore a counter-narrative that challenges the English-centric prevailing paradigm: the feasibility of Chinese-centric pretraining to activate proficiency in other languages, such as English. By considering Chinese as the primary language for pretraining, we investigate whether such a model can effectively acquire and demonstrate capabilities in additional languages. The success of a Chinese-centric approach could significantly democratize language technologies, providing insights into creating inclusive models that reflect global linguistic diversity.
LLM 개발의 지배적인 패러다임은 대부분 영어 중심의 pretraining 방법론을 선호해 왔습니다. 이러한 접근 방식은 영어 데이터의 풍부한 가용성과 전 세계적인 보급성에 뿌리를 두고 있으며, 대부분의 현대 LLM 아키텍처의 기초를 다졌습니다. 이후, 이러한 모델의 언어적 범위를 확장하기 위해 지속적인 pretraining, Supervised Fine-tuning, Instruction Fine-tuning (IFT)과 같은 전략이 사용되어 다국어 기능을 활성화할 수 있게 되었습니다(Zeng et al., 2023; Bai et al., 2023; Yang et al., 2023; Team, 2023; Young et al., 2024; Bi et al., 2024). 이러한 방법론은 효과적인 것으로 입증되었으며, 초기 영어 중심 훈련을 넘어 언어적 다양성을 수용하는 LLM의 적응력을 보여주었으며, 대표적인 예로 Chinese-Mixtral(Cui and Yao, 2024)과 Chinese-Mixtral-Instruct(Cui and Yao, 2024)가 있습니다. 이러한 적응 전략 외에도 처음부터 다국어 능력을 위해 특별히 설계된 모델의 하위 집합이 존재합니다. BLOOM(Le Scao et al., 2022) 및 Aya(Ustin et al., 2024)와 같은 모델은 pretraining 및 Fine-tuning 단계에서 다양한 언어를 통합하는 이러한 접근 방식을 예시합니다. 언어적 다양성을 통합하려는 이러한 노력에도 불구하고 영어는 항상 이러한 모델에서 지배적인 언어로 남아 있습니다(Zhao et al., 2024). 이 담론에서는 영어 중심의 지배적인 패러다임에 도전하는 반대 설득을 살펴봅니다: 영어와 같은 다른 언어의 능력을 활성화하기 위한 중국어 중심의 pretraining의 타당성입니다. 중국어를 pretraining의 기본 언어로 간주하여 이러한 모델이 추가 언어에서 효과적으로 능력을 습득하고 입증할 수 있는지 조사합니다. 중국어 중심 접근 방식의 성공은 언어 기술을 크게 민주화할 수 있으며, 글로벌 언어 다양성을 반영하는 포괄적인 모델을 만드는 데 대한 통찰력을 제공할 수 있습니다.
LLM 개발의 지배적인 패러다임은 대부분 영어 중심의 사전 학습 방법론을 선호해 왔습니다. 이러한 접근 방식은 영어 데이터의 풍부한 가용성과 전 세계적인 보급성에 뿌리를 두고 있으며, 대부분의 현대 LLM 아키텍처의 기초를 다졌습니다. 이후, 이러한 모델의 언어적 범위를 확장하기 위해 지속적인 사전 학습, 지도 미세 조정, 지침 미세 조정(IFT)과 같은 전략이 사용되어 다국어 기능을 활성화할 수 있게 되었습니다(Zeng et al., 2023; Bai et al., 2023; Yang et al., 2023; Team, 2023; Young et al., 2024; Bi et al., 2024). 이러한 방법론은 효과적인 것으로 입증되었으며, 초기 영어 중심 훈련을 넘어 언어적 다양성을 수용하는 LLM의 적응력을 보여주었으며, 대표적인 예로 중국어-믹스트랄(Cui and Yao, 2024)과 중국어-믹스트랄-인스트럭트(Cui and Yao, 2024)가 있습니다. 이러한 적응 전략 외에도 처음부터 다국어 능력을 위해 특별히 설계된 모델의 하위 집합이 존재합니다. BLOOM(Le Scao et al., 2022) 및 Aya(Ustin et al., 2024)와 같은 모델은 사전 학습 및 미세 조정 단계에서 다양한 언어를 통합하는 이러한 접근 방식을 예시합니다. 언어적 다양성을 통합하려는 이러한 노력에도 불구하고 영어는 항상 이러한 모델에서 지배적인 언어로 남아 있습니다(Zhao et al., 2024). 이 담론에서는 영어 중심의 지배적인 패러다임에 도전하는 반대 설득을 살펴봅니다: 영어와 같은 다른 언어의 능력을 활성화하기 위한 중국어 중심의 사전 학습의 타당성입니다. 중국어를 사전 학습의 기본 언어로 간주하여 이러한 모델이 추가 언어에서 효과적으로 능력을 습득하고 입증할 수 있는지 조사합니다. 중국어 중심 접근 방식의 성공은 언어 기술을 크게 민주화할 수 있으며, 글로벌 언어 다양성을 반영하는 포괄적인 모델을 만드는 데 대한 통찰력을 제공할 수 있습니다.