To construct the training dataset, we initialized it with the 20K instruction-following dataset called Code Alpaca5. We iteratively employ the Evol-Instruct technique on this dataset consisting of 20,000 samples to produce evolved data. After each round of data evolution, we merge the evolved data from all previous rounds with the original dataset to finetune StarCoder and assess the pass@1 metric on HumanEval [31]. Once we observe a decline in the pass@1 metric, we will discontinue the usage of Evol-Instruct and choose the model with the highest pass@1 as the ultimate model.
훈련 데이터 세트를 구성하기 위해 Code Alpaca5라는 20,000개의 Instruction-following 데이터 세트로 초기화했습니다. 이 20,000개의 샘플로 구성된 데이터 세트에 대해 반복적으로 Evol-Instruct 기법을 사용하여 진화된 데이터를 생성합니다. 데이터 진화의 각 라운드가 끝나면 이전 모든 라운드에서 진화된 데이터를 원래 데이터 세트와 병합하여 StarCoder를 Fine-tuning하고 HumanEval [31]에서 pass@1 메트릭을 평가합니다. pass@1 메트릭이 감소하는 것을 관찰하면 Evol-Instruct의 사용을 중단하고 pass@1가 가장 높은 모델을 최종 모델로 선택합니다.
훈련 데이터 세트를 구성하기 위해 Code Alpaca5라는 20,000개의 명령어 추종 데이터 세트로 초기화했습니다. 이 20,000개의 샘플로 구성된 데이터 세트에 대해 반복적으로 Evol-Instruct 기법을 사용하여 진화된 데이터를 생성합니다. 데이터 진화의 각 라운드가 끝나면 이전 모든 라운드에서 진화된 데이터를 원래 데이터 세트와 병합하여 StarCoder를 미세 조정하고 HumanEval [31]에서 pass@1 메트릭을 평가합니다. pass@1 메트릭이 감소하는 것을 관찰하면 Evol-Instruct의 사용을 중단하고 pass@1가 가장 높은 모델을 최종 모델로 선택합니다.