Second, the scaling policy derived from Hoffmann et al.'s estimated parameters suggests using approximately 70 tokens per parameter for optimal performance. This prescription is inconsistent with the 20 tokens-per-parameter ratio actually used by Hoffmann et al. to train their 70B Chinchilla model. Interestingly, this 20 tokens-per-parameter ratio aligns closely with the results from the two other approaches (Approaches 1 and 2) reported in their paper.
둘째, Hoffmann 등이 추정한 매개변수에서 도출한 scaling 정책은 최적의 성능을 위해 매개변수당 약 70개의 토큰을 사용할 것을 제안합니다. 이 처방은 Hoffmann 등이 70B Chinchilla 모델을 훈련하는 데 실제로 사용한 매개변수당 20개의 토큰 비율과 일치하지 않습니다. 흥미롭게도 이 20 tokens-per-parameter 비율은 논문에 보고된 다른 두 가지 접근 방식(접근 방식 1 및 2)의 결과와 매우 유사합니다.
둘째, 호프만 등이 추정한 매개변수에서 도출한 스케일링 정책은 최적의 성능을 위해 매개변수당 약 70개의 토큰을 사용할 것을 제안합니다. 이 처방은 호프만 등이 700억 척수 칠린차 모델을 훈련하는 데 실제로 사용한 매개변수당 20개의 토큰 비율과 일치하지 않습니다. 흥미롭게도 이 20 토큰-매개변수 비율은 논문에 보고된 다른 두 가지 접근 방식(접근 방식 1 및 2)의 결과와 매우 유사합니다.