In the long term, publishing test items can compromise a benchmark's integrity and usefulness. One well-established concern is that the dataset could appear in web-scraped corpora used to train models [27, 28, 29]. This means that models could just regurgitate the correct answers and score highly on the AI Safety Benchmark, even if they still have critical safety weaknesses. Alternatively, model providers could choose to intentionally optimize their models to perform well against the benchmark. For instance, the UK AISI states that details of its methodology are "kept confidential to prevent the risk of manipulation if revealed."7. By keeping the exact evaluation dataset hidden but providing clear definitions of the targeted hazards, model developers can be incentivized to focus on holistically improving the safety of their models, rather than overfitting to a known static test set. However, the benefits of hidden evaluation need to be considered against the lack of trust that might be created, as well as possible missed opportunities to improve understanding and knowledge of AI safety within the community.
장기적으로 테스트 항목을 게시하면 벤치마크의 무결성과 유용성이 손상될 수 있습니다. 한 가지 잘 알려진 우려는 데이터 세트가 모델 학습에 사용되는 웹 스크랩 코퍼스에 포함될 수 있다는 것입니다[27, 28, 29]. 즉, 모델이 여전히 중요한 안전성 약점이 있더라도 정답을 되풀이하여 AI Safety Benchmark에서 높은 점수를 받을 수 있습니다. 또는 모델 제공업체가 벤치마크에 대해 우수한 성능을 발휘하도록 모델을 의도적으로 최적화할 수도 있습니다. 예를 들어, 영국 AISI는 방법론의 세부 사항을 "공개할 경우 조작의 위험을 방지하기 위해 기밀로 유지"한다고 명시하고 있습니다. 정확한 평가 데이터 세트는 숨기되, 대상 위험에 대한 명확한 정의를 제공함으로써 모델 개발자는 알려진 정적 테스트 세트에 과적합하는 것이 아니라 모델의 안전성을 전반적으로 개선하는 데 집중하도록 인센티브를 제공할 수 있습니다. 그러나 숨겨진 평가의 이점은 신뢰 부족과 커뮤니티 내에서 AI 안전에 대한 이해와 지식을 향상시킬 수 있는 기회를 놓칠 수 있다는 점을 고려해야 합니다.
장기적으로 테스트 항목을 게시하면 벤치마크의 무결성과 유용성이 손상될 수 있습니다. 한 가지 잘 알려진 우려는 데이터 세트가 모델 학습에 사용되는 웹 스크랩 코퍼스에 포함될 수 있다는 것입니다[27, 28, 29]. 즉, 모델이 여전히 중요한 안전성 약점이 있더라도 정답을 되풀이하여 AI 안전 벤치마크에서 높은 점수를 받을 수 있습니다. 또는 모델 제공업체가 벤치마크에 대해 우수한 성능을 발휘하도록 모델을 의도적으로 최적화할 수도 있습니다. 예를 들어, 영국 AISI는 방법론의 세부 사항을 "공개할 경우 조작의 위험을 방지하기 위해 기밀로 유지"한다고 명시하고 있습니다.7) 정확한 평가 데이터 세트는 숨기되, 대상 위험에 대한 명확한 정의를 제공함으로써 모델 개발자는 알려진 정적 테스트 세트에 과적합하는 것이 아니라 모델의 안전성을 전반적으로 개선하는 데 집중하도록 인센티브를 제공할 수 있습니다. 그러나 숨겨진 평가의 이점은 신뢰 부족과 커뮤니티 내에서 AI 안전에 대한 이해와 지식을 향상시킬 수 있는 기회를 놓칠 수 있다는 점을 고려해야 합니다.