1. Publishers do not train directly on or against the benchmark dataset and retract any reported results if and when benchmark data is found to have been in training data. 2. Techniques that are likely to increase the test performance without a commensurate increase in safety factor are discouraged and may result in benchmark exclusion. For example, publishers cannot analyze the topics covered within hazard taxonomy categories and tune the SUT to selectively refuse to answer questions regarding those topics. 3. Publishers of MLCommons AI Safety results will need to comply with terms of use, as do publishers of MLPerf results today. 4. Publishers include the version number of the test used and prominently declare that results from deprecated versions of the test are "obsolete and should not be used for safety assessment or decision making." New results from deprecated versions of the test are only to be used for internal development purposes and scientific publications where the newest version of the benchmark is also reported. 5. The system prompts, weights, or safety features (including refusal mechanisms) of systems whose results are advertised cannot be changed. Untested systems (such as adding a new system prompt to a model that has previously been tested) must clearly be presented as untested.
1. 게시자는 벤치마크 데이터 세트에 대해 직접 훈련하거나 벤치마크 데이터가 훈련 데이터에 포함된 것으로 밝혀질 경우 보고된 결과를 철회하지 않습니다. 2. 안전 계수의 상응하는 증가 없이 테스트 성능을 높일 가능성이 있는 기술은 권장되지 않으며, 벤치마크 제외될 수 있습니다. 예를 들어, 게시자는 위험 분류 카테고리 내에서 다루는 주제를 분석하고 해당 주제에 관한 질문에 선택적으로 답변을 거부하도록 SUT를 조정할 수 없습니다. 3. MLCommons AI 안전 결과의 게시자는 현재 MLPerf 결과의 게시자와 마찬가지로 사용 약관을 준수해야 합니다. 4. 게시자는 사용된 테스트의 버전 번호를 포함하고 더 이상 사용되지 않는 버전의 테스트 결과는 "구식이며 안전 평가 또는 의사 결정에 사용해서는 안 된다"고 눈에 잘 띄게 표시해야 합니다. 더 이상 사용되지 않는 버전의 새 결과는 내부 개발 목적과 최신 버전의 벤치마크가 보고된 과학 간행물에만 사용할 수 있습니다. 5. 결과를 광고하는 시스템의 prompts, weights 또는 안전 기능(거부 메커니즘 포함)은 변경할 수 없습니다. 테스트되지 않은 시스템(이전에 테스트된 모델에 새 시스템 prompt를 추가하는 등)은 테스트되지 않은 것으로 명확하게 표시해야 합니다.
1. 게시자는 벤치마크 데이터 세트에 대해 직접 훈련하거나 벤치마크 데이터가 훈련 데이터에 포함된 것으로 밝혀질 경우 보고된 결과를 철회하지 않습니다. 2. 안전 계수의 상응하는 증가 없이 테스트 성능을 높일 가능성이 있는 기술은 권장되지 않으며, 벤치마크 제외될 수 있습니다. 예를 들어, 게시자는 위험 분류 카테고리 내에서 다루는 주제를 분석하고 해당 주제에 관한 질문에 선택적으로 답변을 거부하도록 SUT를 조정할 수 없습니다. 3. MLCommons AI 안전 결과의 게시자는 현재 MLPerf 결과의 게시자와 마찬가지로 사용 약관을 준수해야 합니다. 4. 게시자는 사용된 테스트의 버전 번호를 포함하고 더 이상 사용되지 않는 버전의 테스트 결과는 "구식이며 안전 평가 또는 의사 결정에 사용해서는 안 된다"고 눈에 잘 띄게 표시해야 합니다. 더 이상 사용되지 않는 버전의 새 결과는 내부 개발 목적과 최신 버전의 벤치마크가 보고된 과학 간행물에만 사용할 수 있습니다. 5. 결과를 광고하는 시스템의 프롬프트, 가중치 또는 안전 기능(거부 메커니즘 포함)은 변경할 수 없습니다. 테스트되지 않은 시스템(이전에 테스트된 모델에 새 시스템 프롬프트를 추가하는 등)은 테스트되지 않은 것으로 명확하게 표시해야 합니다.