Openness is critical for improving AI safety, building trust with the community and the public, and minimizing duplicative efforts. However, open-sourcing a safety evaluation benchmark creates risks as well as benefits [26]. For v0.5, we openly release all prompts, annotation guidelines, and the underlying taxonomy. The license for the software is Apache 2.0 and the license for the other resources is CC-BY. We do not publish model responses to prompts because, for some hazard categories, these responses may contain content that could enable harm. For instance, if a model generated the names of darknet hacker websites, open-sourcing could make it easier for malicious actors to find such websites. Equally, unsafe responses could be used by technically sophisticated malicious actors to develop ways of bypassing and breaking the safety filters in existing models and applications. Further, to enable open sharing of the benchmark, although it limits the effectiveness of the test items (i.e., prompts), we did not include niche hazard-specific terms or information in the test items themselves.
개방성은 AI 안전성을 개선하고 커뮤니티 및 대중과의 신뢰를 구축하며 중복적인 노력을 최소화하는 데 매우 중요합니다. 그러나 안전 평가 benchmark를 오픈 소싱하면 이점뿐만 아니라 위험도 발생할 수 있습니다[26]. v0.5의 경우 모든 prompts, annotation guidelines 및 기본 taxonomy를 공개적으로 공개합니다. 소프트웨어의 라이선스는 Apache 2.0이고 다른 리소스의 라이선스는 CC-BY입니다. 일부 위험 범주에 대해서는 모델이 prompts에 응답할 때 해를 끼칠 수 있는 콘텐츠가 포함될 수 있으므로 prompts에 대한 모델 응답을 게시하지 않습니다. 예를 들어, 모델이 다크넷 해커 웹사이트의 이름을 생성하는 경우 오픈 소싱으로 인해 악의적인 행위자가 해당 웹사이트를 더 쉽게 찾을 수 있습니다. 마찬가지로, 안전하지 않은 응답은 기술적으로 정교한 악의적인 행위자가 기존 모델 및 애플리케이션의 안전 필터를 우회하고 무단 탈취하는 방법을 개발하는 데 사용될 수 있습니다. 또한 benchmark의 공개적인 공유를 위해 테스트 항목(즉, prompts)의 효과를 제한하지만 테스트 항목 자체에 틈새 위험별 용어나 정보를 포함하지 않았습니다.
개방성은 AI 안전성을 개선하고 커뮤니티 및 대중과의 신뢰를 구축하며 중복적인 노력을 최소화하는 데 매우 중요합니다. 그러나 안전 평가 벤치마크를 오픈 소싱하면 이점뿐만 아니라 위험도 발생할 수 있습니다[26]. v0.5의 경우 모든 프롬프트, 주석 가이드라인 및 기본 분류를 공개적으로 공개합니다. 소프트웨어의 라이선스는 Apache 2.0이고 다른 리소스의 라이선스는 CC-BY입니다. 일부 위험 범주에 대해서는 모델이 프롬프트에 응답할 때 해를 끼칠 수 있는 콘텐츠가 포함될 수 있으므로 프롬프트에 대한 모델 응답을 게시하지 않습니다. 예를 들어, 모델이 다크넷 해커 웹사이트의 이름을 생성하는 경우 오픈 소싱으로 인해 악의적인 행위자가 해당 웹사이트를 더 쉽게 찾을 수 있습니다. 마찬가지로, 안전하지 않은 응답은 기술적으로 정교한 악의적인 행위자가 기존 모델 및 애플리케이션의 안전 필터를 우회하고 무단 탈취하는 방법을 개발하는 데 사용될 수 있습니다. 또한 벤치마크의 공개적인 공유를 위해 테스트 항목(즉, 프롬프트)의 효과를 제한하지만 테스트 항목 자체에 틈새 위험별 용어나 정보를 포함하지 않았습니다.