We introduce our training data distribution in Figure 11. In the figure, CommonCrawl_Chn in a Chinese Corpus is derived from CommonCrawl raw corpus and goes through thorough cleaning. Dolma (Soldaini et al., 2024), C4 (Raffel et al., 2019), and Pile (Gao et al., 2020; Biderman et al., 2022) are English corpora. They are deduplicated inner corpus and across corpus using MinHash algorithms (Broder, 1997). The Code Pre-train data contains the stack (Kocetkov et al., 2022) and StarCoder Li et al. (2023), with inner deduplication and cross deduplication. In the decay stage, the data mixture contains more diverse data and proprietary data, including UltraChat (Ding et al., 2023), SlimOrca (Lian et al., 2023;3b), OssInstruct (Wei et al., 2023), EvolInstruct (Xu et al., 2023). The data with the suffix SFT is our proprietary data including LectCode questions, Kindergarten through 12th grade (K12) textbooks and questions, etc.
Figure 11에서 우리의 훈련 데이터 분포를 소개합니다. 그림에서, 중국어 코퍼스인 CommonCrawl_Chn은 CommonCrawl 원시 코퍼스에서 파생되어 철저한 정화를 거칩니다. Dolma (Soldaini et al., 2024), C4 (Raffel et al., 2019), 그리고 Pile (Gao et al., 2020; Biderman et al., 2022)는 영어 코퍼스입니다. 이들은 MinHash 알고리즘 (Broder, 1997)을 사용하여 내부 코퍼스와 코퍼스 간 중복 제거를 수행합니다. 코드 사전 훈련 데이터는 stack (Kocetkov et al., 2022)과 StarCoder Li et al. (2023)을 포함하며, 내부 중복 제거와 교차 중복 제거를 수행합니다. 감쇠 단계에서는 데이터 혼합물이 UltraChat (Ding et al., 2023), SlimOrca (Lian et al., 2023;3b), OssInstruct (Wei et al., 2023), EvolInstruct (Xu et al., 2023) 등 더 다양한 데이터와 독점 데이터를 포함합니다. SFT 접미사가 붙은 데이터는 LectCode 질문, 유치원부터 12학년(K12) 교과서 및 질문 등을 포함한 우리의 독점 데이터입니다.
그림 11에 학습 데이터 분포를 소개합니다. 그림에서 중국어 코퍼스의 CommonCrawl_Chn은 CommonCrawl 원시 코퍼스에서 파생되며 철저한 정리를 거쳤습니다. Dolma(Soldaini et al., 2024), C4(Raffel et al., 2019), Pile(Gao et al., 2020; Biderman et al., 2022)은 영어 코퍼스입니다. 이들은 MinHash 알고리즘(Broder, 1997)을 사용하여 내부 코퍼스와 코퍼스 간 중복을 제거했습니다. 코드 사전 학습 데이터에는 스택(Kocetkov et al., 2022)과 스타코더 리(Li et al., 2023)가 포함되며, 내부 중복과 교차 중복을 제거했습니다. 데이터 혼합물에는 쇠퇴 단계에서 UltraChat(Ding et al., 2023), SlimOrca(Lian et al., 2023;3b), OssInstruct(Wei et al., 2023), EvolInstruct(Xu et al., 2023) 등 더욱 다양한 데이터와 독점 데이터가 포함됩니다. SFT 접미사가 붙은 데이터는 LectCode 질문, 초등학교부터 12학년까지(K12) 교과서 및 질문 등을 포함하는 자사 독점 데이터입니다.