The disadvantage of studying emergent abilities in the lens of pre-training loss is that the pre-training loss is affected by the tokenizer and the distribution of pre-training corpus. The values of pre-training loss of language models trained on different corpus are not directly comparable. One possible solution is to evaluate different language models on a public validation set with the normalized perplexity [34] to account for the different vocabulary sizes.
사전 학습 Loss의 렌즈에서 출현 능력을 연구하는 단점은 사전 학습 Loss가 Tokenizer와 사전 학습 Corpus의 분포에 영향을 받는다는 것입니다. 서로 다른 Corpus로 학습된 언어 모델의 사전 학습 Loss 값은 직접 비교할 수 없습니다. 한 가지 가능한 해결책은 다양한 언어 모델을 공개 validation set에서 정규화된 Perplexity [34]로 평가하여 다양한 어휘 크기를 설명하는 것입니다.
사전 학습 손실의 렌즈에서 출현 능력을 연구하는 단점은 사전 학습 손실이 토큰화 도구와 사전 학습 코퍼스의 분포에 영향을 받는다는 것입니다. 서로 다른 말뭉치로 학습된 언어 모델의 사전 학습 손실 값은 직접 비교할 수 없습니다. 한 가지 가능한 해결책은 다양한 언어 모델을 공개 유효성 검사 세트에서 정규화된 당혹감 [34]으로 평가하여 다양한 어휘 크기를 설명하는 것입니다.