This study introduces the Chinese Tiny LLM (CT-LLM), a pioneering endeavor to redefine the landscape of LLMs by shifting towards prioritizing the Chinese language. CT-LLM, with its 2 billion parameters, diverges from traditional approaches by being meticulously pre-trained on a comprehensive corpus comprising 1,200 billion tokens. This corpus, distinctin its composition, includes an extensive collection of 800 billion Chinese tokens, 300 billion English tokens, and 100 billion code tokens. Our careful data processing procedures offer the Massive Appropriate Pretraining Chinese Corpus (MAP-CC), enhancing the quality of Chinese web corpora and setting a new standard for dataset preparation in the field. The strategic inclusion of a diverse and substantial amount of Chinese textual data enables CT-LLM to achieve exceptional proficiency in processing and understanding Chinese, setting a new precedent for LLM capabilities.
이 연구에서는 중국어에 우선순위를 두는 방향으로 전환하여 LLM의 환경을 재정의하려는 선구적인 노력인 중국 Tiny LLM(CT-LLM)을 소개합니다. 20억 개의 파라미터를 가진 CT-LLM은 1,2000억 개의 토큰으로 구성된 포괄적인 말뭉치에 대해 세심하게 pre-trained를 거치는 기존 접근 방식과 차별화됩니다. 이 말뭉치는 8,000억 개의 중국어 토큰, 3,000억 개의 영어 토큰, 1,000억 개의 코드 토큰으로 구성된 광범위한 컬렉션을 포함하는 등 그 구성이 독특합니다. 신중한 데이터 처리 절차를 통해 Massive Appropriate Pretraining Chinese Corpus (MAP-CC)를 제공하여 중국 웹 말뭉치의 품질을 향상시키고 해당 분야의 데이터 세트 준비에 대한 새로운 표준을 제시합니다. 다양하고 상당한 양의 중국어 텍스트 데이터를 전략적으로 포함함으로써 CT-LLM은 중국어 처리 및 이해에 탁월한 능력을 발휘할 수 있으며, LLM 기능에 대한 새로운 선례를 제시합니다.
이 연구에서는 중국어에 우선순위를 두는 방향으로 전환하여 LLM의 환경을 재정의하려는 선구적인 노력인 중국 Tiny LLM(CT-LLM)을 소개합니다. 20억 개의 파라미터를 가진 CT-LLM은 1,2000억 개의 토큰으로 구성된 포괄적인 말뭉치에 대해 세심하게 사전 학습을 거치는 기존 접근 방식과 차별화됩니다. 이 말뭉치는 8,000억 개의 중국어 토큰, 3,000억 개의 영어 토큰, 1,000억 개의 코드 토큰으로 구성된 광범위한 컬렉션을 포함하는 등 그 구성이 독특합니다. 신중한 데이터 처리 절차를 통해 대규모 적절한 사전 학습 중국 말뭉치(MAP-CC)를 제공하여 중국 웹 말뭉치의 품질을 향상시키고 해당 분야의 데이터 세트 준비에 대한 새로운 표준을 제시합니다. 다양하고 상당한 양의 중국어 텍스트 데이터를 전략적으로 포함함으로써 CT-LLM은 중국어 처리 및 이해에 탁월한 능력을 발휘할 수 있으며, LLM 기능에 대한 새로운 선례를 제시합니다.