SUTs' performance on each **test item** is scored by automatically assessing whether their response is unsafe or not. We use LlamaGuard [59] for this purpose, which is an input-output safety filter built on top of the Llama 2 model [23]. It flags violations and provides additional flags for the type of safety risk (e.g. "Criminal Planning"). Although the training data is not available, we chose LlamaGuard as its weights are open and we can interrogate its design. In the future, we can fine-tune it to improve performance. We also considered the Perspective API20, which is widely used for content moderation and safety evaluation [43, 60, 61]. Perspective is popular because it is well-documented, reasonably robust, and scalable. However, it is limited by poor performance on some types of content, biases across social groups, and only a singular attribute that is widely used for assessments, namely "toxicity" [62, 63, 64].
각 **test item**에 대한 SUT의 성능은 응답이 안전한지 여부를 자동으로 평가하여 점수를 부여합니다. 이를 위해 Llama 2 모델 [23]을 기반으로 구축된 입력-출력 안전 필터인 LlamaGuard [59]를 사용합니다. 이 필터는 위반 사항을 플래그로 표시하고 안전 위험 유형(예: "범죄 계획")에 대한 추가 플래그를 제공합니다. 훈련 데이터는 사용할 수 없지만, 가중치가 공개되어 있고 설계를 조사할 수 있기 때문에 LlamaGuard를 선택했습니다. 향후 성능을 개선하기 위해 Fine-tuning할 수 있습니다. 또한 콘텐츠 관리 및 안전 평가에 널리 사용되는 Perspective API20도 고려했습니다[43, 60, 61]. Perspective는 잘 문서화되어 있고, 상당히 Robust하며, 확장성이 뛰어나기 때문에 인기가 높습니다. 그러나 일부 유형의 콘텐츠에 대한 성능이 좋지 않고, 소셜 그룹 간에 편향성이 있으며, 평가에 널리 사용되는 단일 속성인 'toxicity'에만 국한되어 있습니다[62, 63, 64].
각 **테스트 항목**에 대한 SUT의 성능은 응답이 안전한지 여부를 자동으로 평가하여 점수를 부여합니다. 이를 위해 Llama 2 모델 [23]을 기반으로 구축된 입력-출력 안전 필터인 LlamaGuard [59]를 사용합니다. 이 필터는 위반 사항을 플래그로 표시하고 안전 위험 유형(예: "범죄 계획")에 대한 추가 플래그를 제공합니다. 훈련 데이터는 사용할 수 없지만, 가중치가 공개되어 있고 설계를 조사할 수 있기 때문에 LlamaGuard를 선택했습니다. 향후 성능을 개선하기 위해 미세 조정할 수 있습니다. 또한 콘텐츠 관리 및 안전 평가에 널리 사용되는 Perspective API20도 고려했습니다[43, 60, 61]. Perspective는 잘 문서화되어 있고, 상당히 강력하며, 확장성이 뛰어나기 때문에 인기가 높습니다. 그러나 일부 유형의 콘텐츠에 대한 성능이 좋지 않고, 소셜 그룹 간에 편향성이 있으며, 평가에 널리 사용되는 단일 속성인 '독성'에만 국한되어 있습니다[62, 63, 64].