When assessing the knowledge stored in a model, we **cannot** simply rely on the **average, word-by-word** cross-entropy loss. For example, the phrase "received mentorship and guidance from faculty members" in (2.1) does not constitute useful knowledge. We should instead focus on the _sum_ of the loss for _exactly_ the knowledge tokens.
모델에 저장된 지식을 평가할 때는 단순히 **평균, 단어 단위** cross-entropy loss에 의존할 수 없습니다. 예를 들어, (2.1)의 "교수진으로부터 멘토링과 지도를 받았다"라는 문구는 유용한 지식에 해당하지 않습니다. 대신 정확히 지식 토큰에 대한 손실의 _합계_에 집중해야 합니다.
모델에 저장된 지식을 평가할 때는 단순히 **평균, 단어 단위** 교차 엔트로피 손실에 의존할 수 없습니다. 예를 들어, (2.1)의 "교수진으로부터 멘토링과 지도를 받았다"라는 문구는 유용한 지식에 해당하지 않습니다. 대신 정확히 지식 토큰에 대한 손실의 _합계_에 집중해야 합니다.