With this in mind, it is likely that future versions of the AI Safety Benchmark will not be fully open. We are considering various strategies for how to manage their release in order to protect the benchmark's integrity while being as transparent as possible. Options under consideration include withholding a random portion of the benchmark dataset; withholdingcertain types of prompts; delaying public release of the prompts for a set period of time (e.g., six months); and imposing dataset deprecation conditions if the benchmark's integrity becomes questionable. Finally, starting from v0.5 we are establishing a set of requirements that anyone using the AI Safety Benchmark must adhere to.
이를 염두에 두고 향후 버전의 AI Safety Benchmark는 완전히 공개되지 않을 가능성이 높습니다. 벤치마크의 무결성을 보호하는 동시에 최대한 투명하게 공개하기 위해 다양한 전략을 고려하고 있습니다. 고려 중인 옵션에는 벤치마크 데이터 세트의 일부를 무작위로 보류하는 것, 특정 유형의 prompts 보류, prompts의 공개를 일정 기간(예: 6개월) 동안 지연하는 것, 벤치마크의 무결성에 의문이 제기될 경우 데이터 세트 사용 만료 조건을 부과하는 것 등이 있습니다. 마지막으로, v0.5부터는 AI Safety Benchmark를 사용하는 모든 사람이 준수해야 하는 일련의 요구 사항을 수립하고 있습니다.
이를 염두에 두고 향후 버전의 AI 안전 벤치마크는 완전히 공개되지 않을 가능성이 높습니다. 벤치마크의 무결성을 보호하는 동시에 최대한 투명하게 공개하기 위해 다양한 전략을 고려하고 있습니다. 고려 중인 옵션에는 벤치마크 데이터 세트의 일부를 무작위로 보류하는 것, 특정 유형의 프롬프트 보류, 프롬프트의 공개를 일정 기간(예: 6개월) 동안 지연하는 것, 벤치마크의 무결성에 의문이 제기될 경우 데이터 세트 사용 만료 조건을 부과하는 것 등이 있습니다. 마지막으로, v0.5부터는 AI 안전 벤치마크를 사용하는 모든 사람이 준수해야 하는 일련의 요구 사항을 수립하고 있습니다.