With this white paper, we introduce v0.5 of the **AI Safety Benchmark**. The benchmark is designed to assess the safety risks of AI systems that use chat-tuned Language Models (LMs).5 We focus on LMs as a tractable starting point because they have been extensively researched and are widely deployed in production, and several LM benchmarks already exist (e.g., HELM [19] and BIG-bench [20]). In the future, we will benchmark the safety risks of models for other modalities (such as image-to-text models, text-to-image models, and speech-to-speech models [21, 22]), and expand to LMs in languages other than English.
이 백서에서는 **AI Safety Benchmark**의 v0.5를 소개합니다. 이 벤치마크는 chat-tuned Language Models (LMs)을 사용하는 AI 시스템의 안전성 위험을 평가하기 위해 고안되었습니다. LM은 광범위한 연구가 진행되고 있으며 프로덕션 환경에 널리 배포되어 있고, 이미 여러 LM 벤치마크(예: HELM [19] 및 BIG-bench [20])가 존재하기 때문에 접근 가능한 출발점으로 초점을 맞추고 있습니다. 향후에는 다른 방식의 모델(예: 이미지-텍스트 모델, 텍스트-이미지 모델, 음성-음성 모델 [21, 22])에 대한 안전성 위험을 벤치마킹하고 영어 이외의 언어로 된 LM으로 확장할 예정입니다.
이 백서에서는 **AI 안전 벤치마크**의 v0.5를 소개합니다. 이 벤치마크는 채팅 튜닝된 언어 모델(LM)을 사용하는 AI 시스템의 안전성 위험을 평가하기 위해 고안되었습니다.5 LM은 광범위한 연구가 진행되고 있으며 프로덕션 환경에 널리 배포되어 있고, 이미 여러 LM 벤치마크(예: HELM [19] 및 BIG-bench [20])가 존재하기 때문에 접근 가능한 출발점으로 초점을 맞추고 있습니다. 향후에는 다른 방식의 모델(예: 이미지-텍스트 모델, 텍스트-이미지 모델, 음성-음성 모델 [21, 22])에 대한 안전성 위험을 벤치마킹하고 영어 이외의 언어로 된 LM으로 확장할 예정입니다.