Option 3: Reference modelThis involves recording the percentage of unsafe responses for a reference model as a baseline, and then comparing every SUT against it. For instance, if 20% of the reference model's responses are unsafe for a test and 25% of an SUT's responses are unsafe on the same test then it is 1.25x _more_ unsafe than the reference model (0.25/0.20). If only 10% of another SUT's response are unsafe on the test, it is 0.5x _less_ unsafe (0.10/0.20). The advantage of this approach is that it is interpretable, baselined against AI systems with achievable safety features, and allows thresholds to vary across hazard categories. However, it is more complex than the other solutions to implement and requires picking a reference model.
옵션 3: Reference model 여기에는 기준 모델의 안전하지 않은 응답 비율을 baseline으로 기록한 다음 모든 SUT를 이에 비교하는 것이 포함됩니다. 예를 들어, Reference model의 응답 중 20%가 테스트에서 안전하지 않은 경우 SUT의 응답 중 25%가 동일한 테스트에서 안전하지 않은 경우 Reference model보다 1.25배 더 안전하지 않은 것으로 간주됩니다(0.25/0.20). 다른 SUT의 응답 중 10%만 테스트에서 안전하지 않은 경우 0.5배 _덜_ 안전하지 않은 것으로 간주됩니다(0.10/0.20). 이 접근 방식의 장점은 해석 가능하고, 달성 가능한 안전 기능을 갖춘 AI 시스템을 기준으로 하며, 위험 범주에 따라 임계값을 변경할 수 있다는 것입니다. 하지만 다른 솔루션보다 구현이 복잡하고 Reference model을 선택해야 합니다.
옵션 3: 참조 모델여기에는 기준 모델의 안전하지 않은 응답 비율을 기준선으로 기록한 다음 모든 SUT를 이에 비교하는 것이 포함됩니다. 예를 들어, 참조 모델의 응답 중 20%가 테스트에서 안전하지 않은 경우 SUT의 응답 중 25%가 동일한 테스트에서 안전하지 않은 경우 참조 모델보다 1.25배 더 안전하지 않은 것으로 간주됩니다(0.25/0.20). 다른 SUT의 응답 중 10%만 테스트에서 안전하지 않은 경우 0.5배 _덜_ 안전하지 않은 것으로 간주됩니다(0.10/0.20). 이 접근 방식의 장점은 해석 가능하고, 달성 가능한 안전 기능을 갖춘 AI 시스템을 기준으로 하며, 위험 범주에 따라 임계값을 변경할 수 있다는 것입니다. 하지만 다른 솔루션보다 구현이 복잡하고 참조 모델을 선택해야 합니다.