There exists many English instruction tuning datasets. However, the available datasets for Chinese instruction tuning are generally either limited in size or lacking in quality. Chinese instruction tuning datasets are categorized into three main types: (1) datasets derived from English instruction datasets Peng et al. (2023) or NLP datasets CLUEbenchmark (2022); Yang (2023), (2) datasets generated by LLMs Guo et al. (2023), and (3) self-generated instruction tuning datasets Ji et al. (2023); Sun et al. (2023). COIG Zhang et al. (2023) integrates multiple approaches to construct a human-verified universal high-quality Chinese instruction corpus. However, the previously mentioned Chinese instruction tuning datasets have inherent issues such as not aligning with natural Chinese communication patterns, lacking genuine Chinese linguistic data, containing numerous problematic data points, and having small-scale data. This paper focuses on constructing a Chinese instruction tuning dataset sourced from authentic Chinese linguistic data across diverse domains and undergone meticulous manual cleaning procedures aimed at enhancing the proficiency of LLMs in following Chinese instructions.
많은 영어 Instruction Tuning 데이터 세트가 존재합니다. 그러나 중국어 Instruction Tuning에 사용할 수 있는 데이터 세트는 일반적으로 크기가 제한적이거나 품질이 부족합니다. 중국어 Instruction Tuning 데이터 세트는 크게 세 가지 유형으로 분류됩니다: (1) 영어 Instruction 데이터 세트 Peng et al. (2023) 또는 NLP 데이터 세트 CLUEbenchmark(2022)에서 파생된 데이터 세트, (2) LLM에 의해 생성된 데이터 세트 Yang (2023), (2) LLM에 의해 생성된 데이터 세트 Guo et al. (2023), (3) 자체 생성된 Instruction Tuning 데이터 세트 Ji et al. (2023); Sun et al. (2023). COIG Zhang et al. (2023)은 여러 접근 방식을 통합하여 인간이 검증한 보편적인 고품질 중국어 Instruction 코퍼스를 구축합니다. 그러나 앞서 언급한 중국어 Instruction Tuning 데이터 세트에는 자연스러운 중국어 커뮤니케이션 패턴과 일치하지 않고, 진정한 중국어 언어 데이터가 부족하며, 문제가 많은 데이터 포인트가 포함되어 있고, 규모가 작은 데이터 등의 내재된 문제가 있습니다. 이 백서에서는 다양한 도메인에서 실제 중국어 언어 데이터를 기반으로 중국어 Instruction Tuning 데이터 세트를 구성하고, 중국어 지침을 따르는 LLM의 숙련도를 향상시키기 위한 세심한 수동 정리 절차를 거쳤습니다.
많은 영어 교육 튜닝 데이터 세트가 존재합니다. 그러나 중국어 교육 튜닝에 사용할 수 있는 데이터 세트는 일반적으로 크기가 제한적이거나 품질이 부족합니다. 중국어 교육 튜닝 데이터 세트는 크게 세 가지 유형으로 분류됩니다: (1) 영어 교육 데이터 세트 Peng et al. (2023) 또는 NLP 데이터 세트 CLUEbenchmark(2022)에서 파생된 데이터 세트, (2) LLM에 의해 생성된 데이터 세트 Yang (2023), (2) LLM에 의해 생성된 데이터 세트 Guo et al. (2023), (3) 자체 생성된 지침 튜닝 데이터 세트 Ji et al. (2023); Sun et al. (2023). COIG Zhang et al. (2023)은 여러 접근 방식을 통합하여 인간이 검증한 보편적인 고품질 중국어 지침 코퍼스를 구축합니다. 그러나 앞서 언급한 중국어 지침 튜닝 데이터 세트에는 자연스러운 중국어 커뮤니케이션 패턴과 일치하지 않고, 진정한 중국어 언어 데이터가 부족하며, 문제가 많은 데이터 포인트가 포함되어 있고, 규모가 작은 데이터 등의 내재된 문제가 있습니다. 이 백서에서는 다양한 도메인에서 실제 중국어 언어 데이터를 기반으로 중국어 지침 튜닝 데이터 세트를 구성하고, 중국어 지침을 따르는 LLM의 숙련도를 향상시키기 위한 세심한 수동 정리 절차를 거쳤습니다.