In Figure 3 we provide results for each of the 7 data sources in Paloma (Magnusson et al., 2023) that are excluded from the combined metric in Figure 2. Some of these sources such as Pile (Gao et al., 2020) and ICE (Greenbaum and Nelson, 1996) are not publicly available at this time. Dolma 100 Programming Languages (Soldaini et al., 2024) consists of code data that is not supported by the decontamination approach used in Paloma. TwitterAAE (Blodgett et al., 2016), along with ICE, are datasets for targeted analyses of disparities in performance between different dialects and as such should be evaluated separately. And finally, the Manosphere, Gab, and 4chan corpora (Ribeiro et al., 2021; Zannettou et al., 2018; Papasavva et al., 2020) are intended to examine model fit to language from fringe online communities that are studied for prevalent hate speech and toxicity. Thus minimizing perplexity on these fringe corpora is not always desirable.
그림 3에서는 그림 2의 결합 지표에서 제외된 Paloma(Magnusson et al., 2023)의 7개 데이터 소스 각각에 대한 결과를 제공합니다. Pile(Gao et al., 2020) 및 ICE(Greenbaum and Nelson, 1996)와 같은 일부 소스는 현재 공개되지 않았습니다. Dolma 100 프로그래밍 언어(Soldaini et al., 2024)는 Paloma에서 사용되는 오염 제거 접근 방식이 지원하지 않는 코드 데이터로 구성됩니다. TwitterAAE(Blodgett et al., 2016)는 ICE와 함께 다양한 방언 간 성능 격차에 대한 표적 분석을 위한 데이터 세트이므로 별도로 평가해야 합니다. 마지막으로, Manosphere, Gab 및 4chan 코퍼스(Ribeiro et al., 2021; Zannettou et al., 2018; Papasavva et al., 2020)는 혐오 발언과 독성이 만연한 주변 온라인 커뮤니티의 언어에 대한 모델 적합성을 검토하기 위한 것입니다. 따라서 이러한 주변 코퍼스에서 Perplexity를 최소화하는 것이 항상 바람직한 것은 아닙니다.
그림 3에서는 그림 2의 결합 지표에서 제외된 팔로마(Magnusson et al., 2023)의 7개 데이터 소스 각각에 대한 결과를 제공합니다. Pile(Gao et al., 2020) 및 ICE(Greenbaum and Nelson, 1996)와 같은 일부 소스는 현재 공개되지 않았습니다. Dolma 100 프로그래밍 언어(Soldaini et al., 2024)는 팔로마에서 사용되는 오염 제거 접근 방식이 지원하지 않는 코드 데이터로 구성됩니다. 트위터AAE(Blodgett et al., 2016)는 ICE와 함께 다양한 방언 간 성능 격차에 대한 표적 분석을 위한 데이터 세트이므로 별도로 평가해야 합니다. 마지막으로, 맨소스피어, Gab 및 4chan 코퍼스(Ribeiro et al., 2021; Zannettou et al., 2018; Papasavva et al., 2020)는 혐오 발언과 독성이 만연한 주변 온라인 커뮤니티의 언어에 대한 모델 적합성을 검토하기 위한 것입니다. 따라서 이러한 주변 코퍼스에서 당혹감을 최소화하는 것이 항상 바람직한 것은 아닙니다.