In this section, we investigate the relationship between model scale, and performance gain obtained by selecting data via D4. Specifically, we train three groups of models: 125M OPT models trained on \(T_{target}=3\)B tokens, 1.3B OPT models trained on \(T_{target}=40\)B tokens, and 6.7B OPT models trained on \(T_{target}=100\)B tokens. We notice in Figure A2 that D4 results in efficiency gains across the board in terms of perplexity. Surprisingly, these efficiency gains seem to increase with scale, indicating that at bigger model scales, D4 might lead to even more efficiency gains. We also see efficiency gains in 0-shot downstream accuracy for 1.3B and 6.7B model scales on the order of 30% for both 1.3B and 6.7B models, but we note that evaluation downstream performance on intermediate checkpoints is not completely fair due to unfinished learning rate schedule. Nonetheless, we see that downstream accuracy efficiency gains are not decreasing with scale.
이 섹션에서는 모델 규모와 D4를 통해 데이터를 선택함으로써 얻을 수 있는 성능 향상 간의 관계를 조사합니다. 특히, \(T_{target}=3\)B 토큰에 대해 학습된 125M OPT 모델, \(T_{target}=40\)B 토큰에 대해 학습된 1.3B OPT 모델, \(T_{target}=100\)B 토큰에 대해 학습된 6.7B OPT 모델의 세 그룹의 모델을 훈련합니다. 그림 A2에서 D4가 perplexity 측면에서 전반적으로 효율성 향상을 가져온다는 것을 알 수 있습니다. 놀랍게도 이러한 효율성 이득은 규모가 커질수록 증가하는 것으로 보이며, 이는 더 큰 모델 규모에서 D4가 더 많은 효율성 이득을 가져올 수 있음을 나타냅니다. 또한 1.3B 및 6.7B 모델 모두에서 1.3B 및 6.7B 모델 규모의 zero-shot 다운스트림 정확도에서 30% 정도의 효율성 향상을 확인할 수 있지만, 중간 체크포인트에 대한 다운스트림 성능 평가는 학습 속도 일정이 완료되지 않았기 때문에 완전히 공정하지 않다는 점에 유의합니다. 그럼에도 불구하고 다운스트림 정확도 효율성 향상이 규모에 따라 감소하지 않는다는 것을 알 수 있습니다.
이 섹션에서는 모델 규모와 D4를 통해 데이터를 선택함으로써 얻을 수 있는 성능 향상 간의 관계를 조사합니다. 특히, \(T_{target}=3\)B 토큰에 대해 학습된 125M OPT 모델, \(T_{target}=40\)B 토큰에 대해 학습된 1.3B OPT 모델, \(T_{target}=100\)B 토큰에 대해 학습된 6.7B OPT 모델의 세 그룹의 모델을 훈련합니다. 그림 A2에서 D4가 당황스러움 측면에서 전반적으로 효율성 향상을 가져온다는 것을 알 수 있습니다. 놀랍게도 이러한 효율성 이득은 규모가 커질수록 증가하는 것으로 보이며, 이는 더 큰 모델 규모에서 D4가 더 많은 효율성 이득을 가져올 수 있음을 나타냅니다. 또한 1.3B 및 6.7B 모델 모두에서 1.3B 및 6.7B 모델 규모의 0-샷 다운스트림 정확도에서 30% 정도의 효율성 향상을 확인할 수 있지만, 중간 체크포인트에 대한 다운스트림 성능 평가는 학습 속도 일정이 완료되지 않았기 때문에 완전히 공정하지 않다는 점에 유의합니다. 그럼에도 불구하고 다운스트림 정확도 효율성 향상이 규모에 따라 감소하지 않는다는 것을 알 수 있습니다.