By contrast, our fitted model implies an optimal ratio of around 20 tokens per parameter, which is consistent with both how the Chinchilla model was trained and the findings from Approaches 1 and 2 in Hoffmann et al. (see Figure 5). The inconsistency between the prescriptions based on the estimated scaling law (Approach 3) and the results from Approaches 1 and 2 in Hoffmann et al. raises further concerns about the accuracy of their parameter estimates. The alignment of our estimates with the token-to-parameter ratio used in practice and obtained from their other approaches strengthens the case for the validity of our fit.
이와 대조적으로, 우리가 맞춘 모델은 매개변수당 약 20개의 토큰이라는 최적의 비율을 의미하며, 이는 Chinchilla 모델이 훈련된 방식과 Hoffmann 등의 접근 방식 1과 2의 결과(그림 5 참조)와 일치합니다. 추정된 scaling law(접근 방식 3)에 기반한 처방과 Hoffmann 등의 접근 방식 1 및 2의 결과 사이의 불일치는 매개변수 추정치의 정확성에 대한 우려를 더욱 제기합니다. 우리의 추정치가 실제로 사용된 토큰 대 매개변수 비율과 일치하고 다른 접근 방식을 통해 얻은 결과와 일치한다는 점은 우리의 추정치의 타당성에 대한 근거를 강화합니다.
이와 대조적으로, 우리가 맞춘 모델은 매개변수당 약 20개의 토큰이라는 최적의 비율을 의미하며, 이는 침치라 모델이 훈련된 방식과 호프만 등의 접근 방식 1과 2의 결과(그림 5 참조)와 일치합니다. 추정된 스케일링 법칙(접근 방식 3)에 기반한 처방과 호프만 등의 접근 방식 1 및 2의 결과 사이의 불일치는 매개변수 추정치의 정확성에 대한 우려를 더욱 제기합니다. 우리의 추정치가 실제로 사용된 토큰 대 매개변수 비율과 일치하고 다른 접근 방식을 통해 얻은 결과와 일치한다는 점은 우리의 추정치의 타당성에 대한 근거를 강화합니다.