methodology, and aims to be open to audit. For our core target audiences we anticipate the following specific requirements for the grading system: For **model providers** the benchmark should incentivize targeted safety improvements to models. Scores should be fair, meaning that they should not favor or disadvantage models of specific providers. Moreover, scores that indicate good safety performance should be achievable. For **model integrators** the benchmark should have a signal. A better score should mean a safer model. It should be possible to break down scores into more granular insights and differences between scores should be clear. For **AI standards makers and regulators** the benchmark should encourage wide participation and drive improvements in safety. It should also facilitate meaningful dialogue within the AI research and developer community.
방법론에 대한 개방적인 자세를 가지고 있으며 감사를 받을 수 있도록 노력하고 있습니다. 핵심 타겟 고객을 위해 등급 시스템에 대해 다음과 같은 구체적인 요구 사항을 예상합니다: **model providers**의 경우, 벤치마크는 모델에 대한 안전성 개선을 장려해야 합니다. 점수는 공정해야 하며, 특정 제공업체의 모델에 유리하거나 불리하게 작용해서는 안 됩니다. 또한 좋은 안전성 성능을 나타내는 점수를 달성할 수 있어야 합니다. **model integrators**의 경우, 벤치마크에 신호가 있어야 합니다. 점수가 높을수록 더 안전한 모델이어야 합니다. 점수를 더 세분화된 인사이트로 분류할 수 있어야 하며 점수 간의 차이가 명확해야 합니다. **AI standards makers and regulators**의 경우, 벤치마크는 광범위한 참여를 장려하고 안전성 개선을 유도해야 합니다. 또한 AI 연구 및 개발자 커뮤니티 내에서 의미 있는 대화를 촉진해야 합니다.
방법론에 대한 개방적인 자세를 가지고 있으며 감사를 받을 수 있도록 노력하고 있습니다. 핵심 타겟 고객을 위해 등급 시스템에 대해 다음과 같은 구체적인 요구 사항을 예상합니다: 모델 제공업체**의 경우, 벤치마크는 모델에 대한 안전성 개선을 장려해야 합니다. 점수는 공정해야 하며, 특정 제공업체의 모델에 유리하거나 불리하게 작용해서는 안 됩니다. 또한 좋은 안전성 성능을 나타내는 점수를 달성할 수 있어야 합니다. 모델 통합자**의 경우, 벤치마크에 신호가 있어야 합니다. 점수가 높을수록 더 안전한 모델이어야 합니다. 점수를 더 세분화된 인사이트로 분류할 수 있어야 하며 점수 간의 차이가 명확해야 합니다. AI 표준 제정자 및 규제자**의 경우, 벤치마크는 광범위한 참여를 장려하고 안전성 개선을 유도해야 합니다. 또한 AI 연구 및 개발자 커뮤니티 내에서 의미 있는 대화를 촉진해야 합니다.