SetupFor intrinsic evaluations, Paloma proposes a range of analyses, from inspection of performance in each domain separately to more summarized results over combinations of domains. We report results at two levels of granularity: the aggregate performance over 11 of the 18 sources in Paloma as in Magnusson et al. (2023), as well as more fine-grained results over each of these sources individually. This particular subset of 11 sources from Paloma excludes sources that are not publicly available, involve fringe or toxic text, or consist of code data not supported by Paloma's decontamination approach. This leaves C4 (Raffel et al., 2020), mC4-en (Chung et al., 2023), Wikitext 103 (Merity et al., 2016), Penn Treebank (Marcus et al., 1999; Nunes, 2020), RedPajama (Together Computer, 2023), Falcon-RefinedWeb (Penedo et al., 2023), Dolma (Soldaini et al., 2024), M2D2 S2ORC (Reid et al., 2022), M2D2 Wikipedia (Reid et al., 2022), C4 100 domains (Chronopoulou et al., 2022), and Dolma 100 Subreddits (Soldaini et al., 2024). To allow for a fair comparison between models with different vocabularies, we report bits per byte as defined by Gao et al. (2020) over the test sets of these sources.
설정본질적인 평가를 위해 Paloma는 각 도메인에서의 성능 검사부터 도메인 조합에 대한 요약된 결과까지 다양한 분석을 제안합니다. Magnusson et al.(2023)에서와 같이 Paloma의 18개 소스 중 11개 소스에 대한 종합적인 성능과 각 소스에 대한 보다 세분화된 결과의 두 가지 수준의 세분성에서 결과를 보고합니다. 이 특정 11개 소스의 하위 집합에는 공개적으로 사용할 수 없거나, fringe 또는 toxic 텍스트가 포함되어 있거나, Paloma의 decontamination 접근 방식을 지원하지 않는 코드 데이터로 구성된 소스가 제외됩니다. 그 결과 C4(Raffel et al., 2020), mC4-en(Chung et al., 2023), Wikitext 103(Merity et al., 2016), Penn Treebank(Marcus et al., 1999; Nunes, 2020), RedPajama(Together Computer, 2023), Falcon-RefinedWeb(Penedo et al., 2023), Dolma(Soldaini et al., 2024), M2D2 S2ORC(Reid et al., 2022), M2D2 Wikipedia(Reid et al., 2022), C4 100 domains(Chronopoulou et al., 2022), Dolma 100 Subreddits(Soldaini et al., 2024)이 남게 됩니다. 어휘가 다른 모델 간의 공정한 비교를 위해 이러한 소스의 테스트 세트에 대해 Gao et al.(2020)에서 정의한 bits per byte를 보고합니다.
설정본질적인 평가를 위해 Paloma는 각 도메인에서의 성능 검사부터 도메인 조합에 대한 요약된 결과까지 다양한 분석을 제안합니다. Magnusson et al.(2023)에서와 같이 Paloma의 18개 소스 중 11개 소스에 대한 종합적인 성능과 각 소스에 대한 보다 세분화된 결과의 두 가지 수준의 세분성에서 결과를 보고합니다. 이 특정 11개 소스의 하위 집합에는 공개적으로 사용할 수 없거나, 프린지 또는 독성 텍스트가 포함되어 있거나, Paloma의 오염 제거 접근 방식을 지원하지 않는 코드 데이터로 구성된 소스가 제외됩니다. 그 결과 C4(Raffel et al., 2020), mC4-en(Chung et al., 2023), Wikitext 103(Merity et al., 2016), Penn Treebank(Marcus et al., 1999; Nunes, 2020), RedPajama(Together Computer, 2023), Falcon-RefinedWeb(Penedo et al., 2023), Dolma(Soldaini et al., 2024), M2D2 S2ORC(Reid et al., 2022), M2D2 Wikipedia(Reid et al., 2022), C4 100 도메인(Chronopoulou et al., 2022), Dolma 100 서브레딧(Soldaini et al., 2024)이 남게 됩니다. 어휘가 다른 모델 간의 공정한 비교를 위해 이러한 소스의 테스트 세트에 대해 Gao et al.(2020)에서 정의한 바이트당 비트를 보고합니다.