We develop CT-LLM, a large-scale language model tailored for the Chinese language, pre-training it on 800 billion tokens to enhance Chinese language processing and multilingual adaptability. Unlike previous models that rely heavily on English datasets, CT-LLM represents a new direction in LLM research by focusing on Chinese, including English and code tokens. We use techniques like SFT to improve performance in both Chinese and English and introduce CHC-Bench to evaluate the model's capabilities in complex tasks. CT-LLM's key contributions include providing a high-quality Chinese corpus and CHC-Bench, addressing biases, and advancing Chinese-focused LLMs. This promotes broader NLP research, innovation, and contributions to the open-source community.
중국어에 맞춤화된 대규모 언어 모델인 CT-LLM을 개발하여 8000억 개의 토큰에 대해 사전 학습을 진행하여 중국어 처리 및 다국어 적응력을 향상시켰습니다. 영어 데이터 세트에 크게 의존하는 기존 모델과 달리 CT-LLM은 영어 및 코드 토큰을 포함한 중국어에 집중함으로써 LLM 연구의 새로운 방향을 제시합니다. Supervised Fine-tuning (SFT)와 같은 기술을 사용하여 중국어와 영어 모두에서 성능을 개선하고 CHC-Bench를 도입하여 복잡한 작업에서 모델의 기능을 평가합니다. CT-LLM의 주요 기여는 고품질 중국어 말뭉치와 CHC-Bench를 제공하고, 편향성을 해결하며, 중국어 중심의 Large Language Models (LLMs)을 발전시키는 것입니다. 이를 통해 더 폭넓은 자연어 처리 연구와 혁신, 오픈 소스 커뮤니티에 대한 기여를 촉진합니다.
중국어에 맞춤화된 대규모 언어 모델인 CT-LLM을 개발하여 8,000억 개의 토큰에 대해 사전 학습을 진행하여 중국어 처리 및 다국어 적응력을 향상시켰습니다. 영어 데이터 세트에 크게 의존하는 기존 모델과 달리 CT-LLM은 영어 및 코드 토큰을 포함한 중국어에 집중함으로써 LLM 연구의 새로운 방향을 제시합니다. SFT와 같은 기술을 사용하여 중국어와 영어 모두에서 성능을 개선하고 CHC-Bench를 도입하여 복잡한 작업에서 모델의 기능을 평가합니다. CT-LLM의 주요 기여는 고품질 중국어 말뭉치와 CHC-Bench를 제공하고, 편향성을 해결하며, 중국어 중심의 LLM을 발전시키는 것입니다. 이를 통해 더 폭넓은 자연어 처리 연구와 혁신, 오픈 소스 커뮤니티에 대한 기여를 촉진합니다.