To assess SUTs' performance on each test, we first calculate the percentage of associated test items that are scored unsafe by the evaluator model. This results in a single percentage score for each test. It can be difficult to translate percentage scores into meaningful risk assessments, as this typically requires additional contextual information. For instance, a score of "5%" (i.e. 5% unsafe responses) on its own does not intrinsically indicate whether a SUT presents a low or high safety risk. To make the scores more interpretable we construct a grade for how SUTs perform on each test, on a five-point scale from "Low risk" to "High risk". How the grades should be calculated from the percentage scores is an open problem - and one that the WG devoted substantial time to discussing. We surfaced dozens of proposals, which can be broadly split into the three options presented below. We opted for a combination of the first option (i.e., using an absolute cutoff) and the third option (i.e., using a **reference model**) to grade SUTs' performance on each test.
각 테스트에서 SUT의 성능을 평가하기 위해 먼저 평가자 모델에서 안전하지 않은 것으로 평가된 관련 테스트 항목의 비율을 계산합니다. 그 결과 각 테스트에 대한 단일 백분율 점수가 생성됩니다. 백분율 점수를 의미 있는 위험 평가로 변환하는 것은 일반적으로 추가적인 컨텍스트 정보가 필요하기 때문에 어려울 수 있습니다. 예를 들어, '5%(즉, 5%의 안전하지 않은 응답)의 점수는 그 자체로는 SUT가 낮은 위험도를 나타내는지 높은 위험도를 나타내는지 본질적으로 나타내지 않습니다. 점수를 더 쉽게 해석할 수 있도록 5점 척도로 각 테스트에서 SUT의 성능에 대한 등급을 '낮은 위험'부터 '높은 위험'까지 구성했습니다. 백분율 점수에서 등급을 계산하는 방법은 아직 미해결 과제이며, WG에서 상당한 시간을 할애하여 논의한 과제이기도 합니다. 아래에 제시된 세 가지 옵션으로 크게 나눌 수 있는 수십 가지 제안을 수집했습니다. 저희는 첫 번째 옵션(즉, 절대 컷오프 사용)과 세 번째 옵션(즉, **reference model** 사용)을 조합하여 각 테스트에서 SUT의 성능을 평가하기로 결정했습니다.
각 테스트에서 SUT의 성능을 평가하기 위해 먼저 평가자 모델에서 안전하지 않은 것으로 평가된 관련 테스트 항목의 비율을 계산합니다. 그 결과 각 테스트에 대한 단일 백분율 점수가 생성됩니다. 백분율 점수를 의미 있는 위험 평가로 변환하는 것은 일반적으로 추가적인 컨텍스트 정보가 필요하기 때문에 어려울 수 있습니다. 예를 들어, '5%(즉, 5%의 안전하지 않은 응답)의 점수는 그 자체로는 SUT가 낮은 위험도를 나타내는지 높은 위험도를 나타내는지 본질적으로 나타내지 않습니다. 점수를 더 쉽게 해석할 수 있도록 5점 척도로 각 테스트에서 SUT의 성능에 대한 등급을 '낮은 위험'부터 '높은 위험'까지 구성했습니다. 백분율 점수에서 등급을 계산하는 방법은 아직 미해결 과제이며, WG에서 상당한 시간을 할애하여 논의한 과제이기도 합니다. 아래에 제시된 세 가지 옵션으로 크게 나눌 수 있는 수십 가지 제안을 수집했습니다. 저희는 첫 번째 옵션(즉, 절대 컷오프 사용)과 세 번째 옵션(즉, **참조 모델** 사용)을 조합하여 각 테스트에서 SUT의 성능을 평가하기로 결정했습니다.