Figure A16: Comparison data selection methods when repeating data at the 125M, 3B token budget scale. The x-axis is data selection ratio \(R\), and the y-axis is average perplexity on validation sets. We observe that selecting data to repeat via D4 outperforms other data selection methods, especially at low selection ratios \(R\) (note that low selection ratios in the fixed-data regime correspond to more epochs).
그림 A16: 125M, 3B token 예산 규모에서 데이터를 반복할 때 데이터 선택 방법 비교 데이터. X축은 데이터 선택 비율 \(R\), Y축은 유효성 검사 세트의 평균 perplexity입니다. D4를 통해 반복할 데이터를 선택하는 것이 다른 데이터 선택 방법보다, 특히 낮은 선택 비율 \(R\)에서 더 성능이 뛰어나다는 것을 관찰할 수 있습니다(고정 데이터 체제에서 낮은 선택 비율은 더 많은 epoch에 해당한다는 점에 유의하세요).
그림 A16: 125M, 3B 토큰 예산 규모에서 데이터를 반복할 때 데이터 선택 방법 비교 데이터. X축은 데이터 선택 비율 \(R\), Y축은 유효성 검사 세트의 평균 당혹도입니다. D4를 통해 반복할 데이터를 선택하는 것이 다른 데이터 선택 방법보다, 특히 낮은 선택 비율 \(R\)에서 더 성능이 뛰어나다는 것을 관찰할 수 있습니다(고정 데이터 체제에서 낮은 선택 비율은 더 많은 에포크에 해당한다는 점에 유의하세요).