In this section, we describe the fitted data scaling law for continue training with WSD LRS. Each point in Figure 16 is the end of the decay stage in WSD LRS with a different end step. We try two function forms: exponential and polynomial. The fitted result shows that the polynomial scaling law is still the best for continue training.
이 섹션에서는 WSD LRS로 계속 훈련하기 위한 적합 데이터 Scaling law를 설명합니다. 그림 16의 각 점은 종료 단계가 다른 WSD LRS의 감쇠 단계의 끝입니다. 우리는 두 가지 함수 형태를 시도합니다: 지수 함수와 다항식 함수. 적합 결과는 계속 훈련에 다항식 Scaling law가 여전히 가장 좋다는 것을 보여줍니다.
이 섹션에서는 WSD LRS로 계속 훈련하기 위한 적합 데이터 스케일링 법칙을 설명합니다. 그림 16의 각 점은 종료 단계가 다른 WSD LRS의 감쇠 단계의 끝입니다. 우리는 두 가지 함수 형태를 시도합니다: 지수 함수와 다항식 함수. 적합 결과는 계속 훈련에 다항식 스케일링 법칙이 여전히 가장 좋다는 것을 보여줍니다.