To explain this apparent discrepancy, one possibility is that Hoffmann et al. might have used the intermediate loss values during each of the training runs to obtain a fit, rather than using only final loss values for each model trained. Since there were likely at least several hundred intermediate loss values per model in their dataset, in theory, this extra data could have provided them the hundreds of thousands of data points needed to obtain the extremely narrow confidence intervals they reported.
이러한 명백한 불일치를 설명하기 위해 한 가지 가능성은 Hoffmann 등이 각 모델에 대해 학습된 최종 Loss 값만 사용하는 대신 각 학습 실행 중간 Loss 값을 사용하여 적합도를 구했을 수 있다는 것입니다. 데이터 세트에는 모델당 최소 수백 개의 중간 Loss 값이 있었을 가능성이 높기 때문에 이론적으로 이 추가 데이터를 통해 보고된 매우 좁은 신뢰 구간을 얻는 데 필요한 수십만 개의 데이터 포인트를 확보할 수 있었을 것입니다.
이러한 명백한 불일치를 설명하기 위해 한 가지 가능성은 Hoffmann 등이 각 모델에 대해 학습된 최종 손실 값만 사용하는 대신 각 학습 실행 중간 손실 값을 사용하여 적합도를 구했을 수 있다는 것입니다. 데이터 세트에는 모델당 최소 수백 개의 중간 손실 값이 있었을 가능성이 높기 때문에 이론적으로 이 추가 데이터를 통해 보고된 매우 좁은 신뢰 구간을 얻는 데 필요한 수십만 개의 데이터 포인트를 확보할 수 있었을 것입니다.