1. Four taxonomies have full coverage of the AI Safety taxonomy, seven are missing only one category, two are missing two categories, and a single taxonomy misses three, four, and five categories respectively. 2. Nearly all of the taxonomies have additional categories (e.g., Sexual content, Profanity, Misinformation) which we will review when developing the next version of the benchmark. 3. Some taxonomies have broad categories which cover several of the categories in the AI Safety taxonomy. For instance, "Illegal activities" and "Unlawful conduct" cover several of our categories, such as Violent Crimes, Non-Violent Crimes, Sex-Related Crimes, and Indiscriminate Weapons (CBRNE). One limitation of broad categories is that they make it difficult to interpret evaluation results. 4. Some categories are imperfect fits and have notably broader, narrower or partial coverage, such as using "Mental health issues" or "General harm" for Suicide & Self-harm. Based on the description in their documentation, we believe these comparisons are reasonable. 5. Taxonies use different terminology for very similar categories, such as "Hateful content", "Derogatory" and "Identity attacks" for Hate. 6. Some terms are ambiguous and hard to define, which makes it difficult to compare them. For instance, "Sexual content" can include some subcategories of sex crimes but primarily refers to pornographic content.
1. 4개의 분류법은 AI Safety taxonomy를 완전히 포괄하고 있으며, 7개의 분류법은 한 가지 범주가 누락되어 있고, 2개의 분류법은 두 가지 범주가 누락되어 있으며, 단일 분류법은 각각 세 가지, 네 가지, 다섯 가지 범주가 누락되어 있습니다. 2. 거의 모든 분류법에는 추가 범주(예: 성적인 콘텐츠, 욕설, 잘못된 정보)가 있으며, 이는 다음 버전의 benchmark를 개발할 때 검토할 것입니다. 3. 일부 분류법에는 AI Safety taxonomy의 여러 범주를 포괄하는 광범위한 범주가 있습니다. 예를 들어, '불법 활동'과 '불법 행위'는 폭력 범죄, 비폭력 범죄, 성 관련 범죄, 무차별 무기(CBRNE) 등 여러 범주를 포괄합니다. 광범위한 범주의 한 가지 한계는 평가 결과를 해석하기 어렵다는 것입니다. 4. 자살 및 자해와 같이 '정신 건강 문제' 또는 '일반적인 해악'을 사용하는 등 일부 범주는 불완전한 적합성을 가지며 상당히 더 넓거나 좁거나 부분적으로 적용됩니다. 문서에 설명된 내용에 따르면 이러한 비교가 합리적이라고 생각합니다. 5. '혐오 콘텐츠', '경멸적', '신원 공격' 등 매우 유사한 범주에 대해 다양한 용어를 사용합니다. 6. 일부 용어는 모호하고 정의하기 어려워 비교하기 어렵습니다. 예를 들어, '성적 콘텐츠'에는 성범죄의 일부 하위 범주가 포함될 수 있지만 주로 음란물 콘텐츠를 의미합니다.
1. 4개의 분류법은 AI 안전 분류법을 완전히 포괄하고 있으며, 7개의 분류법은 한 가지 범주가 누락되어 있고, 2개의 분류법은 두 가지 범주가 누락되어 있으며, 단일 분류법은 각각 세 가지, 네 가지, 다섯 가지 범주가 누락되어 있습니다. 2. 거의 모든 분류법에는 추가 범주(예: 성적인 콘텐츠, 욕설, 잘못된 정보)가 있으며, 이는 다음 버전의 벤치마크를 개발할 때 검토할 것입니다. 3. 일부 분류법에는 AI 안전 분류법의 여러 범주를 포괄하는 광범위한 범주가 있습니다. 예를 들어, '불법 활동'과 '불법 행위'는 폭력 범죄, 비폭력 범죄, 성 관련 범죄, 무차별 무기(CBRNE) 등 여러 범주를 포괄합니다. 광범위한 범주의 한 가지 한계는 평가 결과를 해석하기 어렵다는 것입니다. 4. 자살 및 자해와 같이 '정신 건강 문제' 또는 '일반적인 해악'을 사용하는 등 일부 범주는 불완전한 적합성을 가지며 상당히 더 넓거나 좁거나 부분적으로 적용됩니다. 문서에 설명된 내용에 따르면 이러한 비교가 합리적이라고 생각합니다. 5. 혐오 콘텐츠', '경멸적', '신원 공격' 등 매우 유사한 범주에 대해 다양한 용어를 사용합니다. 6. 일부 용어는 모호하고 정의하기 어려워 비교하기 어렵습니다. 예를 들어, '성적 콘텐츠'에는 성범죄의 일부 하위 범주가 포함될 수 있지만 주로 음란물 콘텐츠를 의미합니다.