We train 1B parameters models on 30GT of RW and RW-Filtered. We keep the number of pretraining tokens fixed, but train for 1, 5, 25, and 100 epochs. This is a small-scale, limited set-up, which would have to be improved to obtain definitive results. We plot the degradation in performance compared to a single epoch in Figure 7(a) and the gap between RW and RW-F in Figure 7(b). We find that the absolute degradation is less important for RefinedWeb than for RefinedWeb-Filtered; furthermore, the gap widens with increasing number of epochs. However, we observe significant variability across tasks.
30GT의 RW 및 RW-Filtered 데이터에 대해 1B parameters 모델을 학습합니다. 사전 학습 토큰의 수는 고정하되 1, 5, 25, 100회 학습합니다. 이는 확정적인 결과를 얻으려면 개선해야 하는 소규모 제한된 설정입니다. 그림 7(a)에는 단일 epoch와 비교한 성능 저하를, 그림 7(b)에는 RW와 RW-F 간의 격차를 그래프로 표시했습니다. 절대적인 성능 저하는 RefinedWeb-Filtered보다 RefinedWeb에서 덜 중요하며, epoch 수가 증가함에 따라 격차가 벌어지는 것을 확인했습니다. 그러나 작업마다 상당한 변동성이 관찰됩니다.
30GT의 RW 및 RW-필터링된 데이터에 대해 1B 파라미터 모델을 학습합니다. 사전 학습 토큰의 수는 고정하되 1, 5, 25, 100회 학습합니다. 이는 확정적인 결과를 얻으려면 개선해야 하는 소규모 제한된 설정입니다. 그림 7(a)에는 단일 에포크와 비교한 성능 저하를, 그림 7(b)에는 RW와 RW-F 간의 격차를 그래프로 표시했습니다. 절대적인 성능 저하는 RefinedWeb-Filtered보다 RefinedWeb에서 덜 중요하며, 에포크 수가 증가함에 따라 격차가 벌어지는 것을 확인했습니다. 그러나 작업마다 상당한 변동성이 관찰됩니다.