Our findings also hold at larger model scales. We pick our best-performing configuration from 1.3B OPT experiments (e.g., \(R=0.25\)) and train 6.7B OPT models on 100B tokens. Figure 1 shows the positive effects of applying D4 with \(R=0.25\) for a 6.7B model. The model trained on the pruned data reaches the same perplexity as the baseline model using 20% fewer update steps on average and achieves a 2% improvement in accuracy on our suite of downstream tasks at the end of the training - about as much difference as was reported by Zhang et al. [59] between the OPT and GPT-3 family of models on the same set of tasks (See Figure 3 of Zhang et al. [59]).
또한 더 큰 모델 규모에서도 이러한 결과가 유지됩니다. 1.3B OPT 실험에서 가장 성능이 좋은 구성(예: \(R=0.25\))을 선택하고 100B 토큰에 대해 6.7B OPT 모델을 학습합니다. 그림 1은 6.7B 모델에 대해 \(R=0.25\)로 D4를 적용했을 때의 긍정적인 효과를 보여줍니다. 잘린 데이터로 학습한 모델은 평균적으로 20% 적은 업데이트 단계로 baseline 모델과 동일한 Perplexity에 도달했으며, 학습 종료 시 다운스트림 작업 제품군에서 2%의 정확도 향상을 달성했습니다. 이는 Zhang 등[59]이 동일한 작업 세트에서 OPT와 GPT-3 제품군 간에 보고한 것과 거의 비슷한 수준의 차이입니다(Zhang 등[59]의 그림 3 참조).
또한 더 큰 모델 규모에서도 이러한 결과가 유지됩니다. 1.3B OPT 실험에서 가장 성능이 좋은 구성(예: \(R=0.25\))을 선택하고 100B 토큰에 대해 6.7B OPT 모델을 학습합니다. 그림 1은 6.7B 모델에 대해 \(R=0.25\)로 D4를 적용했을 때의 긍정적인 효과를 보여줍니다. 잘린 데이터로 학습한 모델은 평균적으로 20% 적은 업데이트 단계로 기준 모델과 동일한 당혹감에 도달했으며, 학습 종료 시 다운스트림 작업 제품군에서 2%의 정확도 향상을 달성했습니다. 이는 Zhang 등[59]이 동일한 작업 세트에서 OPT와 GPT-3 제품군 간에 보고한 것과 거의 비슷한 수준의 차이입니다(Zhang 등[59]의 그림 3 참조).