Our approach further refines the model's competencies through supervised fine-tuning(SFT). The SFT not only bolsters the model's adeptness in Chinese language tasks but also enhances its versatility in comprehending and generating English text, showcasing its multi-lingual prowess. We also utilize preference optimization techniques to align CT-LLM with human preferences, to enhance its harmlessness and helpfulness. Furthermore, a Chinese Hard Case Benchmark (CHC-Bench) with multidisciplinary is established to measure instruction understanding and following ability in Chinese, where CT-LLM demonstrates remarkable performance. By challenging the prevailing norms of training LLMs primarily on English corpora, CT-LLM expands the horizons of language model training, offering fresh perspectives on the potentialities of non-English-centric LLMs.
우리의 접근 방식은 supervised Fine-tuning(SFT)을 통해 모델의 역량을 더욱 구체화합니다. SFT는 중국어 작업에 대한 모델의 능력을 강화할 뿐만 아니라 영어 텍스트를 이해하고 생성하는 다재다능함을 향상시켜 다국어 능력을 보여줍니다. 또한 선호도 최적화 기술을 활용하여 CT-LLM을 사람의 선호도에 맞추어 무해성과 유용성을 향상시킵니다. 또한 다학제적 중국어 어려운 사례 벤치마크(CHC-Bench)를 구축하여 중국어로 된 instruction 이해 및 수행 능력을 측정했으며, CT-LLM은 뛰어난 성능을 보여주었습니다. 주로 영어 말뭉치에 대해 LLM을 훈련하는 기존의 규범에 도전함으로써 CT-LLM은 언어 모델 훈련의 지평을 넓히고 비영어 중심 LLM의 잠재력에 대한 새로운 관점을 제시합니다.
우리의 접근 방식은 지도 미세 조정(SFT)을 통해 모델의 역량을 더욱 구체화합니다. SFT는 중국어 작업에 대한 모델의 능력을 강화할 뿐만 아니라 영어 텍스트를 이해하고 생성하는 다재다능함을 향상시켜 다국어 능력을 보여줍니다. 또한 선호도 최적화 기술을 활용하여 CT-LLM을 사람의 선호도에 맞추어 무해성과 유용성을 향상시킵니다. 또한 다학제적 중국어 어려운 사례 벤치마크(CHC-Bench)를 구축하여 중국어로 된 지시 사항 이해 및 수행 능력을 측정했으며, CT-LLM은 뛰어난 성능을 보여주었습니다. 주로 영어 말뭉치에 대해 LLM을 훈련하는 기존의 규범에 도전함으로써 CT-LLM은 언어 모델 훈련의 지평을 넓히고 비영어 중심 LLM의 잠재력에 대한 새로운 관점을 제시합니다.