**Validation Set Perplexity**. Our validation sets mainly come from [59], which includes validation sets derived from subsets of the Pile [16] such as CommonCrawl, DM Mathematics, HackerNews, OpenSubtitles, OpenWebText2, Project Gutenberg, USPTO, Wikipedia. We also include a validation set obtained from the PushShift.io Reddit dataset [4] (which we refer to as _redditflattened_). In addition, we measure perplexity on a validation set obtained from a train-validation split of our source dataset _CC-dedup_, and a validation set from C4 [41].
**Validation Set Perplexity**. 유효성 검사 세트는 주로 [59]에서 가져오는데, 여기에는 CommonCrawl, DM 수학, HackerNews, OpenSubtitles, OpenWebText2, 프로젝트 구텐베르크, USPTO, 위키피디아 등 Pile [16]의 하위 집합에서 파생된 유효성 검사 세트가 포함됩니다. 또한 PushShift.io Reddit 데이터 세트 [4]에서 얻은 유효성 검사 세트(여기서는 _redditflattened_이라고 함)도 포함합니다. 또한 소스 데이터 세트 _CC-dedup_의 훈련-검증 분할에서 얻은 검증 세트와 C4 [41]의 검증 세트에서 Perplexity를 측정합니다.
**유효성 검사 세트 당황스러움**. 유효성 검사 세트는 주로 [59]에서 가져오는데, 여기에는 CommonCrawl, DM 수학, HackerNews, OpenSubtitles, OpenWebText2, 프로젝트 구텐베르크, USPTO, 위키피디아 등 Pile [16]의 하위 집합에서 파생된 유효성 검사 세트가 포함됩니다. 또한 PushShift.io Reddit 데이터 세트 [4]에서 얻은 유효성 검사 세트(여기서는 _redditflattened_이라고 함)도 포함합니다. 또한 소스 데이터 세트 _CC-dedup_의 훈련-검증 분할에서 얻은 검증 세트와 C4 [41]의 검증 세트에서 당황스러움을 측정합니다.