Figure 9: The result of scaling experiments with WSD Scheduler (above) and the fitted scaling curve (below). The x-axis is the computation Flops \(C=6ND\), each color of line represents the same model with different computation Flops. We can see that smaller models are better than larger models when the Flops is small, and worse when the Flops is large. Thus models of difference sizes will intersect with each other in the plot around the compute optimal regime.
그림 9: WSD Scheduler를 사용한 scaling 실험 결과(위)와 맞춤형 scaling 곡선(아래). x축은 계산 Flops \(C=6ND\)이며, 각 색상의 선은 계산 Flops가 다른 동일한 모델을 나타냅니다. Flops가 작을 때는 작은 모델이 큰 모델보다 좋고, Flops가 클 때는 큰 모델이 나쁜 것을 알 수 있습니다. 따라서 서로 다른 크기의 모델은 계산 최적 레짐 주변의 플롯에서 서로 교차합니다.
그림 9: WSD 스케줄러를 사용한 스케일링 실험 결과(위)와 맞춤형 스케일링 곡선(아래). x축은 계산 플롭스 \(C=6ND\)이며, 각 색상의 선은 계산 플롭스가 다른 동일한 모델을 나타냅니다. 플롭스가 작을 때는 작은 모델이 큰 모델보다 좋고, 플롭스가 클 때는 큰 모델이 나쁜 것을 알 수 있습니다. 따라서 서로 다른 크기의 모델은 계산 최적 레짐 주변의 플롯에서 서로 교차합니다.