Figure 15: Illustrative comparison be- Figure 16: We use two different function tween Cosine LRS and WSD LRS. The forms to fit the data scaling law achieved WSD LRS with different end steps share by WSD LRS and choose power law as the same stable training stage. the best fit.
그림 15: 코사인 LRS와 WSD LRS를 비교하기 위해 그림 16: 두 가지 다른 함수 형태를 사용하여 WSD LRS가 달성한 데이터 scaling law에 맞춤화하고 power law를 최적의 적합도로 선택합니다.
그림 15: 코사인 LRS와 WSD LRS를 비교하기 위해 그림 16: 두 가지 다른 함수 형태를 사용하여 WSD LRS가 달성한 데이터 스케일링 법칙에 맞춤화하고 파워 로를 최적의 적합도로 선택합니다.