Central to our research is the open-sourcing of the entire training process for CT-LLM, including the meticulous data processing procedures undertaken to curate the Massive Appropriate Pretraining Chinese Corpus (MAP-CC) and the establishment of the multidisciplinary Chinese Hard Case Benchmark (CHC-Bench). Through the dissemination of our methodologies and findings, we aim to foster a more inclusive and diverse landscape for future LLM developments, encouraging the exploration of models that better reflect the vast array of human languages and cultures.
저희 연구의 핵심은 대규모 적절한 전처리 중국어 코퍼스(MAP-CC)를 큐레이션하기 위해 수행된 세심한 데이터 처리 절차와 다학제적 중국어 하드 케이스 벤치마크(CHC-Bench)의 구축을 포함하여 CT-LLM의 전체 훈련 프로세스를 오픈 소싱하는 것입니다. 저희는 방법론과 연구 결과를 공유함으로써 향후 Large Language Models (LLMs) 개발 분야가 보다 포용적이고 다양해지도록 촉진하고, 인간의 다양한 언어와 문화를 더 잘 반영하는 모델을 탐구하도록 장려하는 것을 목표로 합니다.
저희 연구의 핵심은 대규모 적절한 전처리 중국어 코퍼스(MAP-CC)를 큐레이션하기 위해 수행된 세심한 데이터 처리 절차와 다학제적 중국어 하드 케이스 벤치마크(CHC-Bench)의 구축을 포함하여 CT-LLM의 전체 훈련 프로세스를 오픈 소싱하는 것입니다. 저희는 방법론과 연구 결과를 공유함으로써 향후 LLM 개발 분야가 보다 포용적이고 다양해지도록 촉진하고, 인간의 다양한 언어와 문화를 더 잘 반영하는 모델을 탐구하도록 장려하는 것을 목표로 합니다.