For Supervised Fine-Tuning (SFT), we used both Chinese and English data. The Chinese data consisted of the full set from CQIA (Bai et al., 2024) and OL-CC, as well as high-quality data sampled from COIG-PC (Zhang et al., 2023). The English data was sampled from the OpenHermesPreferences dataset (Huang et al., 2024). The total amount of Chinese data comprised 105K pairs of instruction data, with English data adjusted to different ratios based on the volume of Chinese data. The ratios were \(1:1,2:1,4:1,\) and \(8:1\), along with configurations that included only Chinese data and only English data. Each set of experiments was trained for 3 epochs, with specific experimental results shown in Table 12.
지도 Fine-tuning (SFT)의 경우 중국어와 영어 데이터를 모두 사용했습니다. 중국어 데이터는 CQIA(Bai et al., 2024)와 OL-CC의 전체 세트와 COIG-PC(Zhang et al., 2023)에서 샘플링한 고품질 데이터로 구성되었습니다. 영어 데이터는 OpenHermesPreferences 데이터 세트(Huang et al., 2024)에서 샘플링되었습니다. 중국어 데이터의 총량은 105K쌍의 instruction 데이터로 구성되었으며, 중국어 데이터의 양에 따라 영어 데이터의 비율을 다르게 조정했습니다. 비율은 \(1:1,2:1,4:1,\) 및 \(8:1\)이었으며, 중국어 데이터만 포함하는 구성과 영어 데이터만 포함하는 구성도 있었습니다. 각 실험 세트는 3회의 epoch 동안 훈련되었으며, 구체적인 실험 결과는 표 12에 나와 있습니다.
지도 미세 조정(SFT)의 경우 중국어와 영어 데이터를 모두 사용했습니다. 중국어 데이터는 CQIA(Bai et al., 2024)와 OL-CC의 전체 세트와 COIG-PC(Zhang et al., 2023)에서 샘플링한 고품질 데이터로 구성되었습니다. 영어 데이터는 OpenHermesPreferences 데이터 세트(Huang et al., 2024)에서 샘플링되었습니다. 중국어 데이터의 총량은 105K쌍의 명령어 데이터로 구성되었으며, 중국어 데이터의 양에 따라 영어 데이터의 비율을 다르게 조정했습니다. 비율은 \(1:1,2:1,4:1,\) 및 \(8:1\)이었으며, 중국어 데이터만 포함하는 구성과 영어 데이터만 포함하는 구성도 있었습니다. 각 실험 세트는 3회의 에포크 동안 훈련되었으며, 구체적인 실험 결과는 표 12에 나와 있습니다.