We evaluate the perplexity of the pre-trained model on the validation set of multiple out-of-distribution datasets. All models are either trained on the C4 dataset (Raffel et al., 2020), or a particular stylistic rephrase of the same. All the evaluations are done on 21 sub-domains of the Pile (Gao et al., 2020). These subsets are created from the first 10,000 documents from each domain of the Pile dataset. We then evaluate the perplexity of the model on these subsets. Additional evaluation details are provided in Appendix D. It is important to note that we evaluate perplexities on the Pile instead of C4. Training on multiple distributions of text (synthetic and real web) does come at a small cost of less than 1 perplexity on the C4 validation set.
다중 비분포 데이터 세트의 유효성 검사 세트에서 사전 학습된 모델의 Perplexity를 평가합니다. 모든 모델은 C4 데이터 세트(Raffel et al., 2020) 또는 이와 동일한 스타일로 약간 수정된 데이터 세트로 학습됩니다. 모든 평가는 Pile(Gao et al., 2020)의 21개 하위 도메인에서 수행됩니다. 이러한 하위 집합은 Pile 데이터 세트의 각 도메인에서 처음 10,000개의 문서에서 생성됩니다. 그런 다음 이러한 하위 집합에서 모델의 Perplexity를 평가합니다. 추가 평가 세부 정보는 부록 D에 제공됩니다. C4가 아닌 Pile에서 Perplexity를 평가한다는 점에 유의해야 합니다. 여러 텍스트 분포(합성 및 실제 웹)에 대해 학습하면 C4 유효성 검사 세트에서 1 Perplexity 미만의 작은 비용이 발생합니다.
다중 비분포 데이터 세트의 유효성 검사 세트에서 사전 학습된 모델의 당혹감을 평가합니다. 모든 모델은 C4 데이터 세트(Raffel et al., 2020) 또는 이와 동일한 스타일로 약간 수정된 데이터 세트로 학습됩니다. 모든 평가는 Pile(Gao et al., 2020)의 21개 하위 도메인에서 수행됩니다. 이러한 하위 집합은 Pile 데이터 세트의 각 도메인에서 처음 10,000개의 문서에서 생성됩니다. 그런 다음 이러한 하위 집합에서 모델의 당혹감을 평가합니다. 추가 평가 세부 정보는 부록 D에 제공됩니다. C4가 아닌 Pile에서 당혹감을 평가한다는 점에 유의해야 합니다. 여러 텍스트 분포(합성 및 실제 웹)에 대해 학습하면 C4 유효성 검사 세트에서 1당혹감 미만의 작은 비용이 발생합니다.