In this study, we introduce CT-LLM, a 2B large language model (LLM) that illustrates a pivotal shift towards prioritizing the Chinese language in developing LLMs. Uniquely initiated from scratch, CT-LLM diverges from the conventional methodology by primarily incorporating Chinese textual data, utilizing an extensive corpus of 1,200 billion tokens, including 800 billion Chinese tokens, 300 billion English tokens, and 100 billion code tokens. This strategic composition facilitates the model's exceptional proficiency in understanding and processing Chinese, a capability further enhanced through alignment techniques. Demonstrating remarkable performance on the CHC-Bench, CT-LLM excels in Chinese language tasks, and showcases its adeptness in English through SFT. This research challenges the prevailing paradigm of training LLMs predominantly on English corpora and then adapting them to other languages, broadening the horizons for LLM training methodologies. By open-sourcing the full process of training a Chinese LLM, including a detailed data processing procedure with the obtained Massive Appropriate Pretraining Chinese Corpus (MAP-CC), a well-chosen multidisciplinary Chinese Hard Case Benchmark (CHC-Bench), and the 2B-size Chinese Tiny LLM (CT-LLM), we aim to foster further exploration and innovation in both academia and industry, paving the way for more inclusive and versatile language models.
이 연구에서는 중국어 LLM 개발에서 중국어 우선순위를 강조하는 중요한 전환을 보여주는 2B Large Language Model (LLM)인 CT-LLM을 소개합니다. 기존 방법론에서 벗어나 처음부터 처음으로 시작한 CT-LLM은 8000억 개의 중국어 토큰, 3000억 개의 영어 토큰, 1000억 개의 코드 토큰을 포함한 1조 2000억 개의 토큰으로 구성된 광범위한 말뭉치를 활용하여 중국어 텍스트 데이터를 주로 통합하는 독특한 방법을 채택했습니다. 이러한 전략적 구성 덕분에 중국어를 이해하고 처리하는 모델의 뛰어난 능력을 갖추게 되었으며, alignment 기술을 통해 이러한 능력을 더욱 향상시켰습니다. CHC-Bench에서 뛰어난 성능을 보여준 CT-LLM은 중국어 작업에서 탁월한 성능을 발휘하며, Supervised Fine-tuning (SFT)를 통해 영어에 대한 능력을 보여줍니다. 이 연구는 주로 영어 말뭉치로 LLM을 훈련한 다음 다른 언어에 적용하는 기존의 패러다임에 도전하여 LLM 훈련 방법론의 지평을 넓힙니다. 획득한 Massive Appropriate Pretraining Chinese Corpus (MAP-CC)를 사용한 상세한 데이터 처리 절차, 잘 선택된 다학제 Chinese Hard Case Benchmark (CHC-Bench), 2B 크기의 Chinese Tiny LLM (CT-LLM) 등 중국어 LLM 훈련의 전 과정을 오픈 소싱함으로써 학계와 업계에서 더욱 포괄적이고 다재다능한 언어 모델을 위한 길을 열어가는 것을 목표로 합니다.
이 연구에서는 중국어 LLM 개발에서 중국어 우선순위를 강조하는 중요한 전환을 보여주는 2B 대규모 언어 모델(LLM)인 CT-LLM을 소개합니다. 기존 방법론에서 벗어나 처음부터 처음으로 시작한 CT-LLM은 8,000억 개의 중국어 토큰, 3,000억 개의 영어 토큰, 1,000억 개의 코드 토큰을 포함한 1,2,000억 개의 토큰으로 구성된 광범위한 말뭉치를 활용하여 중국어 텍스트 데이터를 주로 통합하는 독특한 방법을 채택했습니다. 이러한 전략적 구성 덕분에 중국어를 이해하고 처리하는 모델의 뛰어난 능력을 갖추게 되었으며, 정렬 기술을 통해 이러한 능력을 더욱 향상시켰습니다. CHC-Bench에서 뛰어난 성능을 보여준 CT-LLM은 중국어 작업에서 탁월한 성능을 발휘하며, SFT를 통해 영어에 대한 능력을 보여줍니다. 이 연구는 주로 영어 말뭉치로 LLM을 훈련한 다음 다른 언어에 적용하는 기존의 패러다임에 도전하여 LLM 훈련 방법론의 지평을 넓힙니다. 획득한 대규모 적절한 사전 학습 중국어 말뭉치(MAP-CC)를 사용한 상세한 데이터 처리 절차, 잘 선택된 다학제 중국어 하드 케이스 벤치마크(CHC-Bench), 2B 크기의 중국어 타이니 LLM(CT-LLM) 등 중국어 LLM 훈련의 전 과정을 오픈 소싱함으로써 학계와 업계에서 더욱 포괄적이고 다재다능한 언어 모델을 위한 길을 열어가는 것을 목표로 합니다.