However, we consider this possibility unlikely given that Hoffmann et al. explicitly stated in their description of Approach 3 that they "model all final losses from experiments in Approach 1 & 2 as a parametric function of model parameter count and the number of seen tokens". Moreover, a key element of Hoffmann et al.'s methodological approach was to set the learning rate decay schedule to approximately match the number of training tokens.
그러나 Hoffmann 등은 접근 방식 3에 대한 설명에서 "접근 방식 1 및 2의 모든 실험에서 최종 Loss를 모델 매개변수 수와 보여진 토큰 수의 파라메트릭 함수로 모델링한다"고 명시적으로 언급한 점을 고려할 때 이러한 가능성은 낮다고 생각합니다. 또한 Hoffmann 등의 방법론적 접근의 핵심 요소는 Learning Rate 감쇠 일정을 학습 토큰 수에 대략적으로 맞추도록 설정한 것입니다.
그러나 호프만 등은 접근 방식 3에 대한 설명에서 "접근 방식 1 및 2의 모든 실험에서 최종 손실을 모델 매개변수 수와 보여진 토큰 수의 파라메트릭 함수로 모델링한다"고 명시적으로 언급한 점을 고려할 때 이러한 가능성은 낮다고 생각합니다. 또한 호프만 등의 방법론적 접근의 핵심 요소는 학습 속도 감쇠 일정을 학습 토큰 수에 대략적으로 맞추도록 설정한 것입니다.