Recently, there have been significant advancements in large language models (LLMs), particularly focused on the English language. These advancements have enabled these LLMs to understand and execute complex instructions with unprecedented accuracy and fluency. However, despite these advancements, there remains a noticeable gap in the development of Chinese instruction tuning. The unique linguistic features and cultural depth of the Chinese language pose challenges for instruction tuning tasks. Existing datasets are either derived from English-centric LLMs or are ill-suited for aligning with the interaction patterns of real-world Chinese users. To bridge this gap, we introduce COIG-CQIA, a high-quality Chinese instruction tuning dataset. Our aim is to build a diverse, wide-ranging instruction-tuning dataset to better align model behavior with human interactions. To this end, we collect a high-quality human-written corpus from various sources on the Chinese Internet, including Q&A communities, Wikis, examinations, and existing NLP datasets. This corpus was rigorously filtered and carefully processed to form the COIG-CQIA dataset. Furthermore, we train models of various scales on different subsets of CQIA, following in-depth evaluation and analyses. The findings from our experiments offer valuable insights for selecting and developing Chinese instruction-tuning datasets. We also find that models trained on CQIA-Subset achieve competitive results in human assessment as well as knowledge and security benchmarks.
최근 Large Language Models (LLMs)은 특히 영어에 초점을 맞춘 상당한 발전을 이루었습니다. 이러한 발전으로 인해 이러한 LLM은 전례 없는 정확성과 유창성으로 복잡한 Instructions을 이해하고 실행할 수 있게 되었습니다. 그러나 이러한 발전에도 불구하고 중국어 Instruction Tuning 개발에는 눈에 띄는 격차가 여전히 존재합니다. 중국어의 고유한 언어적 특징과 문화적 깊이로 인해 Instruction Tuning 작업에 어려움이 따릅니다. 기존 데이터 세트는 영어 중심의 LLM에서 파생되었거나 실제 중국 사용자의 상호 작용 패턴과 일치하는 데 적합하지 않습니다. 이러한 격차를 해소하기 위해 고품질 중국어 Instruction Tuning 데이터 세트인 COIG-CQIA를 소개합니다. 우리의 목표는 모델 동작을 인간과의 상호 작용에 더 잘 맞추기 위해 다양하고 광범위한 Instruction Tuning 데이터 세트를 구축하는 것입니다. 이를 위해 Q&A 커뮤니티, 위키, 시험, 기존 NLP 데이터 세트 등 중국 인터넷의 다양한 소스에서 수집한 고품질의 사람이 직접 작성한 코퍼스를 엄격하게 필터링하고 신중하게 처리하여 COIG-CQIA 데이터 세트를 구성했습니다. 또한 심도 있는 평가와 분석을 거쳐 다양한 규모의 모델을 CQIA의 다양한 하위 집합에 대해 학습시켰습니다. 실험 결과는 중국어 Instruction Tuning 데이터 세트를 선택하고 개발하는 데 귀중한 통찰력을 제공합니다. 또한 CQIA-Subset에서 학습한 모델이 지식 및 보안 벤치마크뿐만 아니라 인간 평가에서도 경쟁력 있는 결과를 달성한다는 사실도 발견했습니다.
최근 대규모 언어 모델(LLM)은 특히 영어에 초점을 맞춘 상당한 발전을 이루었습니다. 이러한 발전으로 인해 이러한 LLM은 전례 없는 정확성과 유창성으로 복잡한 지침을 이해하고 실행할 수 있게 되었습니다. 그러나 이러한 발전에도 불구하고 중국어 지침 튜닝 개발에는 눈에 띄는 격차가 여전히 존재합니다. 중국어의 고유한 언어적 특징과 문화적 깊이로 인해 지침 튜닝 작업에 어려움이 따릅니다. 기존 데이터 세트는 영어 중심의 LLM에서 파생되었거나 실제 중국 사용자의 상호 작용 패턴과 일치하는 데 적합하지 않습니다. 이러한 격차를 해소하기 위해 고품질 중국어 지침 튜닝 데이터 세트인 COIG-CQIA를 소개합니다. 우리의 목표는 모델 동작을 인간과의 상호 작용에 더 잘 맞추기 위해 다양하고 광범위한 지침 튜닝 데이터 세트를 구축하는 것입니다. 이를 위해 Q&A 커뮤니티, 위키, 시험, 기존 NLP 데이터 세트 등 중국 인터넷의 다양한 소스에서 수집한 고품질의 사람이 직접 작성한 코퍼스를 엄격하게 필터링하고 신중하게 처리하여 COIG-CQIA 데이터 세트를 구성했습니다. 또한 심도 있는 평가와 분석을 거쳐 다양한 규모의 모델을 CQIA의 다양한 하위 집합에 대해 학습시켰습니다. 실험 결과는 중국어 지침 튜닝 데이터 세트를 선택하고 개발하는 데 귀중한 통찰력을 제공합니다. 또한 CQIA-Subset에서 학습한 모델이 지식 및 보안 벤치마크뿐만 아니라 인간 평가에서도 경쟁력 있는 결과를 달성한다는 사실도 발견했습니다.