For the evaluation phase, we employed 20 subsets from the Pile corpus. We excluded the Europarl subset because it contained non-English language. The subsets used are: CC, StackExchange, Wikipedia, GitHub, PubMed Abstracts, Openwebtext2, Freelaw, Math, NIH, USPTO, Hackernews, Enron, Books3, PubMed Central, Gutenberg, Arxiv, Bookcorpus2, Opensubtitles, Youtubesubtitles, Ubuntu, and Philippers. We take the first 10000 samples from each subset and split into documents of maximum length 1024. The reported average in all perplexity plots is a weighted average over the perplexity of all domains according to the ratios in Table 7.
평가 단계에서는 Pile 코퍼스에서 20개의 하위 집합을 사용했습니다. Europarl 하위 집합은 영어가 아닌 언어가 포함되어 있으므로 제외했습니다. 사용된 하위 집합은 다음과 같습니다: CC, StackExchange, Wikipedia, GitHub, PubMed Abstracts, Openwebtext2, Freelaw, Math, NIH, USPTO, Hackernews, Enron, Books3, PubMed Central, Gutenberg, Arxiv, Bookcorpus2, Opensubtitles, Youtubesubtitles, Ubuntu, Philippers. 각 하위 집합에서 처음 10000개의 샘플을 가져와 최대 길이 1024의 문서로 분할합니다. 모든 perplexity 플롯에 보고된 평균은 표 7의 비율에 따라 모든 도메인의 perplexity에 대한 가중 평균입니다.
평가 단계에서는 Pile 코퍼스에서 20개의 하위 집합을 사용했습니다. 유로파르 하위 집합은 영어가 아닌 언어가 포함되어 있으므로 제외했습니다. 사용된 하위 집합은 다음과 같습니다: CC, StackExchange, Wikipedia, GitHub, PubMed 요약, Openwebtext2, Freelaw, Math, NIH, USPTO, Hackernews, Enron, Books3, PubMed Central, Gutenberg, Arxiv, Bookcorpus2, Opensubtitles, Youtubesubtitles, Ubuntu, 필리퍼스. 각 하위 집합에서 처음 10000개의 샘플을 가져와 최대 길이 1024의 문서로 분할합니다. 모든 난해도 플롯에 보고된 평균은 표 7의 비율에 따라 모든 도메인의 난해도에 대한 가중 평균입니다.