**Non-web Snapshots**: perplexity other validation sets from the Pile, comprising of OpenWebText2, HackerNews, Wikipedia (en), BookCorpusFair, DM Mathematics, Gutenberg PG-19, OpenSubtitles, and USPTO. Also included in this average is "redditflattened" (validation set from Pusshift.io Reddit [4]), "stories", "prompts_with_answers" (which is described below) and "prompts" (which is the same as "prompts_with_answers" but where each sample is just the instruction-tuning prompt without the answer).
**Non-web Snapshots**: Pile의 다른 검증 세트인 OpenWebText2, HackerNews, Wikipedia (en), BookCorpusFair, DM Mathematics, Gutenberg PG-19, OpenSubtitles, USPTO의 퍼플렉시티. 이 평균에는 "redditflattened" (Pusshift.io Reddit [4]의 검증 세트), "stories", "prompts_with_answers" (아래에 설명됨) 및 "prompts" (각 샘플이 답변 없이 instruction-tuning 프롬프트만 포함된 "prompts_with_answers"와 동일함)도 포함됩니다.
**비웹 스냅샷**: OpenWebText2, HackerNews, Wikipedia(en), BookCorpusFair, DM 수학, 구텐베르크 PG-19, 오픈 자막, USPTO로 구성된 더 파일의 다른 유효성 검사 세트를 난해하게 합니다. 또한 이 평균에는 "redditflattened"(Pusshift.io Reddit [4]의 유효성 검사 세트), "stories", "prompts_with_answers"(아래 설명), "prompts"( "prompts_with_answers"와 동일하지만 각 샘플이 답변이 없는 지침 조정 프롬프트일 뿐인 경우)가 포함됩니다.