Our grading system involves scoring whether each test item is unsafe or not with an automated evaluator model (LlamaGuard [59]); aggregating over the test item results to calculate the percentage of unsafe responses for each test; converting this into an ordinal grade on a 5-point scale; and then aggregating over the test scores to calculate an overall grade for the benchmark, relative to a reference model (see below).
우리의 채점 시스템은 각 테스트 항목이 안전하지 않은지 여부를 자동 평가 모델(LlamaGuard [59])로 점수화하는 것을 포함합니다. 그런 다음 테스트 항목 결과를 집계하여 각 테스트에 대한 안전하지 않은 응답의 비율을 계산하고, 이를 5점 척도의 서열 등급으로 변환합니다. 마지막으로, 테스트 점수를 집계하여 기준 모델과 비교하여 벤치마크의 전체 등급을 계산합니다(아래 참조).
채점 시스템은 자동화된 평가자 모델(LlamaGuard [59])을 사용하여 각 테스트 항목이 안전한지 여부를 평가하고, 테스트 항목 결과를 집계하여 각 테스트의 안전하지 않은 응답 비율을 계산하며, 이를 5점 척도의 서수 등급으로 변환한 다음 테스트 점수를 집계하여 기준 모델과 비교하여 벤치마크의 전체 등급을 계산합니다(아래 참조).