It is conceivable that Hoffmann et al. used later intermediate loss values in the last (perhaps 15%) of each training run, which could have sidestepped this basic issue. However, if this is what they had done, then the intermediate loss values withing each training run would have been highly correlated with each other, prompting the need to cluster standard errors, rather than treat every data point as independent. Since there is no indication that Hoffmann et al. clustered their standard errors,6 we do not consider this possibility very credible.
Hoffmann 등이 각 훈련의 마지막(아마도 15%)에서 후기 intermediate loss 값을 사용하여 이 기본 문제를 피할 수 있었을 것으로 생각할 수 있습니다. 그러나 그들이 그렇게 했다면 각 훈련 내의 intermediate loss 값은 서로 높은 상관관계가 있었을 것이므로 모든 데이터 포인트를 독립적으로 처리하는 대신 standard errors를 클러스터링해야 했습니다. Hoffmann 등이 standard errors를 클러스터링했다는 어떠한 징후도 없기 때문에 이 가능성은 그다지 신뢰할 만하지 않습니다.
Hoffmann 등이 각 훈련의 마지막(아마도 15%)에서 후기 중간 손실 값을 사용하여 이 기본 문제를 피할 수 있었을 것으로 생각할 수 있습니다. 그러나 그들이 그렇게 했다면 각 훈련 내의 중간 손실 값은 서로 높은 상관관계가 있었을 것이므로 모든 데이터 포인트를 독립적으로 처리하는 대신 표준 오차를 클러스터링해야 했습니다. Hoffmann 등이 표준 오차를 클러스터링했다는 어떠한 징후도 없기 때문에6 이 가능성은 그다지 신뢰할 만하지 않습니다.