To construct a large and comprehensive supervised fine-tuning (SFT) dataset, we follow Xu et al. (2023b); Wang et al. (2023a) and gather a combined set of 128K SFT samples from high-quality instruction tuning datasets. It consists of 1) a social dialogue dataset Soda (Kim et al., 2022), 2) a long-form QA dataset ELI5 containing elaborate answers (Fan et al., 2019), 3) FLAN and chain-of-thought datasets (Wei et al., 2022b; Chung et al., 2022; Longpre et al., 2023), 4) LLM synthetic instructions tuning datasets: Self-Instruct (Wang et al., 2022b) and Unnatural Instructions (Honovich et al., 2022), and 5) a private crowd-sourced conversational dataset, as well as two public human-written conversation datasets: OpenAssistant (Kopf et al., 2023), and Dolly (Conover et al., 2023a).
크고 포괄적인 supervised Fine-tuning (SFT) 데이터 세트를 구축하기 위해 Xu et al. (2023b); Wang et al. (2023a)을 따라 고품질 Instruction Tuning 데이터 세트에서 128K SFT 샘플의 결합 세트를 수집합니다. 여기에는 1) 소셜 대화 데이터 세트 Soda(Kim et al., 2022), 2) 정교한 답변이 포함된 장문 형식의 QA 데이터 세트 ELI5(Fan et al., 2019), 3) FLAN 및 chain-of-thought 데이터 세트(Wei et al., 2022b; Chung et al., 2022; Longpre et al., 2023), 4) LLM synthetic Instructions Tuning 데이터 세트: Self-Instruct(Wang et al., 2022b) 및 Unnatural Instructions(Honovich et al., 2022), 5) 비공개 크라우드 소싱 대화 데이터 세트, 및 두 개의 공개 인간 작성 대화 데이터 세트: OpenAssistant(Kopf et al., 2023), Dolly(Conover et al., 2023a)로 구성됩니다.
크고 포괄적인 지도 미세 조정(SFT) 데이터 세트를 구축하기 위해 Xu et al. (2023b); Wang et al. (2023a)을 따라 고품질 지시 미세 조정 데이터 세트에서 128K SFT 샘플의 결합 세트를 수집합니다. 여기에는 1) 소셜 대화 데이터 세트 Soda(Kim et al., 2022), 2) 정교한 답변이 포함된 장문 형식의 QA 데이터 세트 ELI5(Fan et al., 2019), 3) FLAN 및 연쇄 사고 데이터 세트(Wei et al., 2022b; Chung et al., 2022; Longpre et al., 2023), 4) LLM 합성 명령어 튜닝 데이터 세트: Self-Instruct(Wang et al., 2022b) 및 Unnatural Instructions(Honovich et al., 2022), 5) 비공개 크라우드 소싱 대화 데이터 세트, 및 두 개의 공개 인간 작성 대화 데이터 세트: OpenAssistant(Kopf et al., 2023), Dolly(Conover et al., 2023a)로 구성됩니다.