When evaluating on the validation sets of LM1B and Wiki-40B, we found that models trained on NearDup-deduplicated C4 consistently achieved lowest perplexity (for LM1B eval with base models, see Appendix Figure 7).
LM1B 및 Wiki-40B의 유효성 검사 세트를 평가한 결과, NearDup-deduplicated C4에서 학습된 모델이 지속적으로 가장 낮은 Perplexity를 얻는다는 것을 발견했습니다(기본 모델을 사용한 LM1B 평가의 경우, 부록 그림 7 참조).
LM1B 및 Wiki-40B의 유효성 검사 세트를 평가한 결과, NearDup-deduplicated C4에서 학습된 모델이 지속적으로 가장 낮은 당혹감을 얻는다는 것을 발견했습니다(기본 모델을 사용한 LM1B 평가의 경우, 부록 그림 7 참조).