The AI Safety Benchmark has been designed to assess the safety risks of AI systems that use chat-tuned language models. We introduce a principled approach to specifying and constructing the benchmark, which for v0.5 covers only a single use case (an adult chatting to a general-purpose assistant in English), and a limited set of personas (i.e., typical users, malicious users, and vulnerable users).1 We created a new taxonomy of 13 hazard categories, of which seven have tests in the v0.5 benchmark. We plan to release v1.0 of the AI Safety Benchmark by the end of 2024.
AI Safety Benchmark는 chat-tuned language models를 사용하는 AI 시스템의 안전성 위험을 평가하기 위해 고안되었습니다. 이 벤치마크를 지정하고 구성하는 원칙적인 접근 방식을 소개하는데, v0.5에서는 단일 사용 사례(성인이 영어로 범용 비서와 채팅하는 경우)와 제한된 페르소나(즉, 일반 사용자, 악의적인 사용자, 취약한 사용자)만을 다룹니다. 13가지 위험 범주에 대한 새로운 분류법을 만들었으며, 이 중 7가지 위험 범주에 대한 테스트가 v0.5 벤치마크에 포함되어 있습니다. 2024년 말까지 AI Safety Benchmark v1.0을 출시할 계획입니다.
AI 안전 벤치마크는 채팅 튜닝 언어 모델을 사용하는 AI 시스템의 안전성 위험을 평가하기 위해 고안되었습니다. 이 벤치마크를 지정하고 구성하는 원칙적인 접근 방식을 소개하는데, v0.5에서는 단일 사용 사례(성인이 영어로 범용 비서와 채팅하는 경우)와 제한된 페르소나(즉, 일반 사용자, 악의적인 사용자, 취약한 사용자)만을 다룹니다.1 13가지 위험 범주에 대한 새로운 분류법을 만들었으며, 이 중 7가지 위험 범주에 대한 테스트가 v0.5 벤치마크에 포함되어 있습니다. 2024년 말까지 AI 안전 벤치마크 v1.0을 출시할 계획입니다.