Due to our use of Tensor Program (Yang et al., 2022, 2023), we anticipate that the learning rate, will not undergo significant changes during model scaling. To verify this, we conduct six sets of learning rate experiments at 0.04B, 0.1B, 0.3B, and 0.5B. In Figure 3, we find that although the model size has increased by ten times, the optimal base learning rate 2 does not show a noticeable shift and remains around 0.01. We further conduct a simple validation on a scale of 2.1B and confirm that a learning rate of 0.01 indeed achieves the lowest loss.
텐서 프로그램(Yang et al., 2022, 2023)을 사용하기 때문에 모델 크기를 확장하는 동안 Learning Rate가 크게 변하지 않을 것으로 예상합니다. 이를 확인하기 위해 0.04B, 0.1B, 0.3B, 0.5B에서 6세트의 Learning Rate 실험을 수행합니다. 그림 3에서 모델 크기가 10배 증가했음에도 불구하고 최적의 기본 Learning Rate 2는 눈에 띄는 변화를 보이지 않고 0.01 정도를 유지하고 있음을 알 수 있습니다. 또한 2.1B 규모에 대한 간단한 유효성 검사를 수행하여 실제로 Learning Rate 0.01이 가장 낮은 Loss를 달성하는 것을 확인했습니다.
텐서 프로그램(Yang et al., 2022, 2023)을 사용하기 때문에 모델 크기를 확장하는 동안 학습 속도가 크게 변하지 않을 것으로 예상합니다. 이를 확인하기 위해 0.04B, 0.1B, 0.3B, 0.5B에서 6세트의 학습 속도 실험을 수행합니다. 그림 3에서 모델 크기가 10배 증가했음에도 불구하고 최적의 기본 학습 속도 2는 눈에 띄는 변화를 보이지 않고 0.01 정도를 유지하고 있음을 알 수 있습니다. 또한 2.1B 규모에 대한 간단한 유효성 검사를 수행하여 실제로 학습 속도 0.01이 가장 낮은 손실을 달성하는 것을 확인했습니다.