Figure 2 presents an ablation study investigating the impact of the number of data evolution rounds. The first round of evolved data contains 38k samples. The second round contains 58k. The third round contains 78k. The fourth round contains 98k. For consistency, all models undergo fine-tuning with 200 steps. The results reveal that the highest pass@1 score on humaneval is achieved after three rounds of data evolution. Based on this observation, we select the data that evolved during the third round as the ultimate dataset.
그림 2는 데이터 진화 라운드 수에 미치는 영향을 조사하는 절제 연구를 제시합니다. 첫 번째 진화 데이터 라운드에는 38k 샘플이 포함됩니다. 두 번째 라운드에는 58k가 포함됩니다. 세 번째 라운드에는 78k가 포함됩니다. 네 번째 라운드에는 98k가 포함됩니다. 일관성을 위해 모든 모델은 200단계로 Fine-tuning을 거칩니다. 그 결과, HumanEval에서 가장 높은 pass@1 점수는 데이터 진화 3라운드 후에 달성됩니다. 이 관찰을 바탕으로 세 번째 라운드에서 진화한 데이터를 최종 데이터 세트로 선택합니다.
그림 2는 데이터 진화 라운드 수에 미치는 영향을 조사하는 절제 연구를 제시합니다. 첫 번째 진화 데이터 라운드에는 38k 샘플이 포함됩니다. 두 번째 라운드에는 58k가 포함됩니다. 세 번째 라운드에는 78k가 포함됩니다. 네 번째 라운드에는 98k가 포함됩니다. 일관성을 위해 모든 모델은 200단계로 미세 조정을 거칩니다. 그 결과, 휴먼이발에서 가장 높은 패스@1 점수는 데이터 진화 3라운드 후에 달성됩니다. 이 관찰을 바탕으로 세 번째 라운드에서 진화한 데이터를 최종 데이터 세트로 선택합니다.