Along with our aggregates, we also evaluated perplexity on Wikitext (Table 9). We found that models trained on RefinedWeb achieve performance close to that of models trained on The Pile. Importantly, we note that RefinedWeb does not contain any content from Wikipedia - it is explicitly filtered out at the URL level.
집계와 함께 Wikitext(표 9)에서도 Perplexity를 평가했습니다. RefinedWeb에서 학습한 모델은 The Pile에서 학습한 모델에 근접한 성능을 달성한다는 것을 발견했습니다. 중요한 점은 RefinedWeb에는 위키백과의 콘텐츠가 포함되어 있지 않으며, URL 수준에서 명시적으로 필터링된다는 점입니다.
집계와 함께 Wikitext(표 9)에서도 당황스러움을 평가했습니다. RefinedWeb에서 학습한 모델은 The Pile에서 학습한 모델에 근접한 성능을 달성한다는 것을 발견했습니다. 중요한 점은 RefinedWeb에는 위키백과의 콘텐츠가 포함되어 있지 않으며, URL 수준에서 명시적으로 필터링된다는 점입니다.