Figure 9: **Infinite learning rate schedules evaluated on 3 IID 100B token subsets of SP. The experiment simulates a setting where new data from the same distribution arrives over time and the practitioner wishes to update their model on the new data. The models are trained from random initialization. We note that in figure (b) the black and violet schedules overlap after \(\sim 80\)B tokens.**the number of model scales we consider. While we do consider a 405M and a 10B parameter model (much larger than most works), we could not extend the study to another order of magnitude due to computational limitations (e.g., 100B parameter scale). The second limitation of our work is that the German validation set was not deduplicated from the German training data. While we were careful to take distinct shards for training and validation, there may be some contamination between the two. Given that all baselines have access to the same dataset, however, we believe our results are still valid. The third limitation is that we did not run experiments updating models on more than two subsequent tasks. While we believe that studying this is important, our goal was to focus our compute on different distribution shifts and studying transitions between large datasets, rather than using a large number of datasets. The fourth limitation is that we did not run experiments over multiple seeds due to high computational cost, meaning that there is likely a stochastic element to some results. That being said, our LLMs are trained with a large batch size (2M+ tokens) and, thus, there is little variance in the gradient estimates. Coupled with the fact that the samples from each dataset are processed in the same order in all cases, we believe that our results should be relatively stable to changes in random initialization dictated by the seed. The fifth limitation is that it is very possible that over enough tokens, the infinite schedules may end up being suboptimal due to only having a single phase of warmup and cooldown, as the learning on all subsequent datasets may just be equivalent to using a constant learning rate, which proved to be suboptimal (see Fig. 3). While Fig. 9 showed that the annealing phase helps recover from this suboptimality in the case of IID splits of the same dataset, it is unclear if this would hold over more tokens, or in the case where the different datasets have distribution shifts. Hence, experiments involving distribution shifts, and a larger scale of models and datasets would be important to further test these infinite schedules. Finally, another important consideration to explore at a larger scale is the stability of pre-training with such schedules (in particular, during the constant learning rate phase without \(\mu P\)(Yang et al., 2022)).
그림 9: **SP의 3개 IID 100B 토큰 하위 집합에서 평가된 무한 Learning Rate 일정. 이 실험은 동일한 분포의 새로운 데이터가 시간이 지남에 따라 도착하고 실무자가 새로운 데이터에 대한 모델을 업데이트하고자 하는 설정을 시뮬레이션합니다. 모델은 무작위 초기화에서 훈련됩니다. 그림 (b)에서 검은색과 보라색 스케줄은 (\sim 80B 토큰) 이후에 겹치는 것을 볼 수 있습니다. 우리가 고려하는 모델 스케일의 수입니다. 405M 및 10B 파라미터 모델(대부분의 작업보다 훨씬 큼)을 고려하지만, 계산 제한으로 인해 연구를 다른 차수로 확장할 수 없었습니다(예: 100B 파라미터 규모). 이 연구의 두 번째 한계는 독일어 유효성 검사 세트가 독일어 훈련 데이터에서 중복되지 않았다는 것입니다. 훈련과 유효성 검사를 위해 별개의 샤드를 사용했지만, 두 세트 사이에 약간의 오염이 있을 수 있습니다. 그러나 모든 베이스라인이 동일한 데이터 세트에 액세스할 수 있다는 점을 감안할 때, 우리의 결과는 여전히 유효하다고 생각합니다. 세 번째 한계는 두 개 이상의 후속 작업에서 모델을 업데이트하는 실험을 수행하지 않았다는 것입니다. 이를 연구하는 것이 중요하다고 생각하지만, 많은 데이터 세트를 사용하기보다는 다른 분포 이동에 집중하고 대규모 데이터 세트 간의 전환을 연구하는 데 컴퓨팅 리소스를 집중하는 것이 목표였습니다. 네 번째 한계는 높은 계산 비용으로 인해 여러 시드에 걸쳐 실험을 실행하지 않았기 때문에 일부 결과에 확률적 요소가 있을 수 있다는 것입니다. 그렇긴 하지만, 우리의 LLM은 큰 Batch Size(2M+ 토큰)로 훈련되기 때문에 그라디언트 추정치에 편차가 거의 없습니다. 또한 모든 데이터 세트의 샘플이 모든 경우에 동일한 순서로 처리된다는 사실과 결합하여, 시드에 의해 결정되는 무작위 초기화의 변화에 대한 결과가 비교적 안정적이어야 한다고 생각합니다. 다섯 번째 한계는 충분한 토큰이 있으면 모든 후속 데이터 세트의 학습이 일정한 Learning Rate를 사용하는 것과 동일해질 수 있으므로, 단일 워밍업 및 쿨다운 단계만 있기 때문에 무한 스케줄이 최적이 아닐 수 있다는 것입니다(그림 3 참조). 그림 9에서는 동일한 데이터 세트의 IID 분할의 경우 어닐링 단계가 이러한 비최적성을 회복하는 데 도움이 되는 것으로 나타났지만, 더 많은 토큰에 대해 또는 서로 다른 데이터 세트에 분포 이동이 있는 경우에는 이러한 단계가 유지되는지 여부는 불분명합니다. 따라서 이러한 무한 스케줄을 더욱 테스트하기 위해서는 분포 이동과 더 큰 규모의 모델 및 데이터 세트를 포함하는 실험이 중요합니다. 마지막으로, 더 큰 규모로 탐색해야 할 또 다른 중요한 고려 사항은 이러한 일정에 따른 사전 훈련의 안정성(특히, (\mu P)가 없는 일정한 Learning Rate 단계(Yang et al., 2022))입니다.
그림 9: **SP의 3개 IID 100B 토큰 하위 집합에서 평가된 무한 학습 속도 일정. 이 실험은 동일한 분포의 새로운 데이터가 시간이 지남에 따라 도착하고 실무자가 새로운 데이터에 대한 모델을 업데이트하고자 하는 설정을 시뮬레이션합니다. 모델은 무작위 초기화에서 훈련됩니다. 그림 (b)에서 검은색과 보라색 스케줄은 (\sim 80B 토큰) 이후에 겹치는 것을 볼 수 있습니다. 우리가 고려하는 모델 스케일의 수입니다. 405M 및 10B 파라미터 모델(대부분의 작업보다 훨씬 큼)을 고려하지만, 계산 제한으로 인해 연구를 다른 차수로 확장할 수 없었습니다(예: 100B 파라미터 규모). 이 연구의 두 번째 한계는 독일어 유효성 검사 세트가 독일어 훈련 데이터에서 중복되지 않았다는 것입니다. 훈련과 유효성 검사를 위해 별개의 샤드를 사용했지만, 두 세트 사이에 약간의 오염이 있을 수 있습니다. 그러나 모든 베이스라인이 동일한 데이터 세트에 액세스할 수 있다는 점을 감안할 때, 우리의 결과는 여전히 유효하다고 생각합니다. 세 번째 한계는 두 개 이상의 후속 작업에서 모델을 업데이트하는 실험을 수행하지 않았다는 것입니다. 이를 연구하는 것이 중요하다고 생각하지만, 많은 데이터 세트를 사용하기보다는 다른 분포 이동에 집중하고 대규모 데이터 세트 간의 전환을 연구하는 데 컴퓨팅 리소스를 집중하는 것이 목표였습니다. 네 번째 한계는 높은 계산 비용으로 인해 여러 시드에 걸쳐 실험을 실행하지 않았기 때문에 일부 결과에 확률적 요소가 있을 수 있다는 것입니다. 그렇긴 하지만, 우리의 LLM은 큰 배치 크기(2M+ 토큰)로 훈련되기 때문에 그라디언트 추정치에 편차가 거의 없습니다. 또한 모든 데이터 세트의 샘플이 모든 경우에 동일한 순서로 처리된다는 사실과 결합하여, 시드에 의해 결정되는 무작위 초기화의 변화에 대한 결과가 비교적 안정적이어야 한다고 생각합니다. 다섯 번째 한계는 충분한 토큰이 있으면 모든 후속 데이터 세트의 학습이 일정한 학습 속도를 사용하는 것과 동일해질 수 있으므로, 단일 워밍업 및 쿨다운 단계만 있기 때문에 무한 스케줄이 최적이 아닐 수 있다는 것입니다(그림 3 참조). 그림 9에서는 동일한 데이터 세트의 IID 분할의 경우 어닐링 단계가 이러한 비최적성을 회복하는 데 도움이 되는 것으로 나타났지만, 더 많은 토큰에 대해 또는 서로 다른 데이터 세트에 분포 이동이 있는 경우에는 이러한 단계가 유지되는지 여부는 불분명합니다. 따라서 이러한 무한 스케줄을 더욱 테스트하기 위해서는 분포 이동과 더 큰 규모의 모델 및 데이터 세트를 포함하는 실험이 중요합니다. 마지막으로, 더 큰 규모로 탐색해야 할 또 다른 중요한 고려 사항은 이러한 일정에 따른 사전 훈련의 안정성(특히, (\mu P)가 없는 일정한 학습 속도 단계(Yang et al., 2022))입니다.