We note that for fixed \(R\), different data selection methods will choose subsets of the source dataset that contain different amounts of tokens. This means that different data selection methods will epoch a different number of times. For example, for a 1.3B OPT model 40B token budget training run, if randomly repeating data with \(R=0.25\) chooses a subset with 10B tokens and D4 with \(R=0.25\) chooses a subset with 15B tokens, then the random run will epoch 4 times while the D4 run will epoch 2.67 times. To show this more clearly, we plot 1.3B and 6.7B repeated data runs with the x-axis changed to number of epochs in Figure A14. We see that up to roughly 2 epochs of data chosen with D4 significantly outperforms randomly selected new data; however, close to 5 epochs leads to worse performance.
고정된 \(R\)의 경우, 데이터 선택 방법에 따라 소스 데이터 집합에 포함된 토큰의 양이 다른 하위 집합이 선택됩니다. 즉, 데이터 선택 방법에 따라 epoch하는 횟수가 달라집니다. 예를 들어, 1.3B OPT 모델 40B 토큰 예산 훈련 실행의 경우, \(R=0.25\)로 무작위로 데이터를 반복하는 경우 10B 토큰의 하위 집합을 선택하고 \(R=0.25\)로 D4를 선택하는 경우 15B 토큰의 하위 집합을 선택하는 경우, 무작위 실행은 4번 epoch하고 D4 실행은 2.67번 epoch합니다. 이를 더 명확하게 보여주기 위해 1.3B 및 6.7B 반복 데이터 실행을 x축을 epoch 횟수로 변경하여 그림 A14에 그래프로 표시했습니다. 약 2회까지는 D4로 선택한 데이터가 무작위로 선택한 신규 데이터보다 훨씬 뛰어난 성능을 보이지만, 5회에 가까워지면 성능이 저하되는 것을 확인할 수 있습니다.
고정된 \(R\)의 경우, 데이터 선택 방법에 따라 소스 데이터 집합에 포함된 토큰의 양이 다른 하위 집합이 선택됩니다. 즉, 데이터 선택 방법에 따라 에포크하는 횟수가 달라집니다. 예를 들어, 1.3B OPT 모델 40B 토큰 예산 훈련 실행의 경우, \(R=0.25\)로 무작위로 데이터를 반복하는 경우 10B 토큰의 하위 집합을 선택하고 \(R=0.25\)로 D4를 선택하는 경우 15B 토큰의 하위 집합을 선택하는 경우, 무작위 실행은 4번 에포크하고 D4 실행은 2.67번 에포크합니다. 이를 더 명확하게 보여주기 위해 1.3B 및 6.7B 반복 데이터 실행을 x축을 에포크 횟수로 변경하여 그림 A14에 그래프로 표시했습니다. 약 2회까지는 D4로 선택한 데이터가 무작위로 선택한 신규 데이터보다 훨씬 뛰어난 성능을 보이지만, 5회에 가까워지면 성능이 저하되는 것을 확인할 수 있습니다.