1. A principled approach to specifying and constructing the benchmark, which comprises use cases, types of systems under test (SUTs), language and context, personas, tests, and test items (see Section 2). 2. A taxonomy of 13 hazard categories with definitions and subcategories (see Section 3). 3. Tests for seven of the hazard categories, each comprising a unique set of test items, i.e., prompts (see Section 4). There are 43,090 test items in total, which we created with templates. 4. A grading system for AI systems against the benchmark that is open, explainable, and can be adjusted for a range of use cases (see Section 5). 5. An openly available platform, and downloadable tool, called **ModelBench** that can be used to evaluate the safety of AI systems on the benchmark.2 Footnote 2: [https://github.com/mlcommons/modelbench](https://github.com/mlcommons/modelbench)
6. An example evaluation report which benchmarks the performance of over a dozen openly available chat-tuned language models. All models have been anonymized (see Section 6).
1. 벤치마크를 명시하고 구성하는 원칙적인 접근 방식으로, 여기에는 사용 사례, 테스트 중인 시스템 유형(SUTs), 언어와 컨텍스트, 페르소나, 테스트 및 테스트 항목이 포함됩니다(섹션 2 참조). 2. 정의와 하위 카테고리를 포함한 13개의 위험 범주에 대한 분류(섹션 3 참조). 3. 각기 고유한 테스트 항목 세트, 즉 프롬프트로 구성된 7개의 위험 범주에 대한 테스트(섹션 4 참조). 우리는 템플릿을 사용하여 총 43,090개의 테스트 항목을 만들었습니다. 4. 벤치마크에 대한 AI 시스템의 성능을 평가하기 위한 개방적이고 설명 가능하며 다양한 사용 사례에 맞게 조정할 수 있는 채점 시스템(섹션 5 참조). 5. 벤치마크에서 AI 시스템의 안전성을 평가하는 데 사용할 수 있는 공개적으로 이용 가능한 플랫폼 및 다운로드 가능한 도구인 **ModelBench**.2 각주 2: [https://github.com/mlcommons/modelbench](https://github.com/mlcommons/modelbench)
6. 공개적으로 이용 가능한 12개 이상의 채팅 튜닝된 언어 모델의 성능을 벤치마크한 예시 평가 보고서. 모든 모델은 익명화되었습니다(섹션 6 참조).
1. 사용 사례, 테스트 대상 시스템(SUT) 유형, 언어 및 컨텍스트, 페르소나, 테스트 및 테스트 항목(2장 참조)으로 구성된 벤치마크를 지정하고 구축하기 위한 원칙적인 접근 방식. 2. 정의 및 하위 범주가 있는 13가지 위험 범주에 대한 분류(섹션 3 참조). 3. 7가지 위험 범주에 대한 테스트, 각각 고유한 테스트 항목(즉, 프롬프트)으로 구성됩니다(섹션 4 참조). 총 43,090개의 테스트 항목이 있으며, 이는 템플릿으로 만들었습니다. 4. 벤치마크에 대한 AI 시스템에 대한 채점 시스템은 개방적이고 설명 가능하며 다양한 사용 사례에 맞게 조정할 수 있습니다(섹션 5 참조). 5. 벤치마크에서 AI 시스템의 안전성을 평가하는 데 사용할 수 있는 공개적으로 사용 가능한 플랫폼 및 다운로드 가능한 도구인 **ModelBench**가 있습니다.2 각주 2: [https://github.com/mlcommons/modelbench](https://github.com/mlcommons/modelbench)6. 6. 공개적으로 사용 가능한 12개 이상의 채팅 튜닝 언어 모델의 성능을 벤치마킹한 평가 보고서 예시입니다. 모든 모델은 익명화되었습니다(섹션 6 참조).