To guide practitioners, we have created a test specification for the AI Safety Benchmark, and have made it freely available.9 The test specification was created and vetted by a large group of researchers and practitioners in the WG. Its creation was motivated by ongoing challenges around the integrity of performance results and their sensitivity to seemingly small setup changes, such as prompt formulation, few-shot learning configurations, and chain-of-thought instructions. If these factors and configuration parameters are not well-documented, this can lead to seemingly inexplicable variations in SUTs' performance and limit reproducibility. Our test specification can help practitioners in two ways. First, it can aid test writers to document proper usage of a proposed test and enable scalable reproducibility amongst a large group of stakeholders who may want to either implement or execute the test. Second, the specification schema can also help audiences of test results to better understand how those results were created in the first place. We aim to produce more specification resources in the future.
실무자를 지원하기 위해 AI 안전 벤치마크에 대한 테스트 사양을 만들었으며, 이를 자유롭게 사용할 수 있도록 했습니다.9 이 테스트 사양은 WG의 많은 연구자와 실무자 그룹에 의해 만들어지고 검증되었습니다. 이 사양은 prompt 공식화, few-shot learning 구성, chain-of-thought instructions와 같은 사소한 설정 변경에 대한 성능 결과의 무결성과 민감도를 둘러싼 지속적인 문제로 인해 만들어졌습니다. 이러한 요소와 구성 매개변수가 잘 문서화되지 않으면 SUT의 성능에 설명할 수 없는 변화가 발생하고 재현성이 제한될 수 있습니다. 테스트 사양은 두 가지 방식으로 실무자에게 도움이 될 수 있습니다. 첫째, 제안된 테스트의 적절한 사용을 문서화하고 테스트를 구현하거나 실행하려는 많은 이해관계자들 사이에서 확장 가능한 재현성을 가능하게 하는 데 도움이 될 수 있습니다. 둘째, 사양 스키마는 테스트 결과의 청중이 처음에 결과가 어떻게 생성되었는지 더 잘 이해하는 데 도움이 될 수 있습니다. 앞으로 더 많은 사양 리소스를 제작할 계획입니다.
실무자를 지원하기 위해 AI 안전 벤치마크에 대한 테스트 사양을 만들었으며, 이를 자유롭게 사용할 수 있도록 했습니다.9 이 테스트 사양은 WG의 많은 연구자와 실무자 그룹에 의해 만들어지고 검증되었습니다. 이 사양은 프롬프트 공식화, 소수 샷 학습 구성, 생각의 사슬 지시와 같은 사소한 설정 변경에 대한 성능 결과의 무결성과 민감도를 둘러싼 지속적인 문제로 인해 만들어졌습니다. 이러한 요소와 구성 매개변수가 잘 문서화되지 않으면 SUT의 성능에 설명할 수 없는 변화가 발생하고 재현성이 제한될 수 있습니다. 테스트 사양은 두 가지 방식으로 실무자에게 도움이 될 수 있습니다. 첫째, 제안된 테스트의 적절한 사용을 문서화하고 테스트를 구현하거나 실행하려는 많은 이해관계자들 사이에서 확장 가능한 재현성을 가능하게 하는 데 도움이 될 수 있습니다. 둘째, 사양 스키마는 테스트 결과의 청중이 처음에 결과가 어떻게 생성되었는지 더 잘 이해하는 데 도움이 될 수 있습니다. 앞으로 더 많은 사양 리소스를 제작할 계획입니다.