Across all test items in v0.5, we collected 560,170 responses from SUTs in total (13 SUTs x 43,090 test items). LlamaGuard flagged 27,045 responses (4.8%) as unsafe. To verify LlamaGuard's accuracy, we selected a subset of the responses for human labelling (the "human eval set"). We used stratified sampling, rather than random sampling, to maximize coverage of different SUTs and hazard categories. First, from the flagged unsafe responses, we sampled a maximum of 10 responses from each combination of hazard category and SUT (e.g., from the responses of SUT 1 to the Violent Crimes test items). In total, we sampled 660 responses that were flagged as unsafe, ranging from 71 responses for Indiscriminate Weapons (CBRNE) test items to 130 responses for Hate test items; and from 16 responses for the SUT with the least unsafe responses to 70 for the SUT with the most unsafe response.21 We then sampled an equal number of responses not flagged as unsafe, with the same stratification for hazard category and SUT. The human eval set contains 1,320 responses (and prompts) in total.
v0.5의 모든 테스트 항목에서 총 560,170개의 응답을 수집했습니다(13개의 SUT x 43,090개의 테스트 항목). LlamaGuard는 27,045개의 응답(4.8%)을 안전하지 않은 것으로 플래그로 표시했습니다. LlamaGuard의 정확도를 검증하기 위해 인간 라벨링을 위해 응답의 하위 집합을 선택했습니다("human eval set"). 무작위 샘플링이 아닌 계층화된 샘플링을 사용하여 다양한 SUT와 위험 범주에 대한 커버리지를 극대화했습니다. 먼저, 플래그가 지정된 안전하지 않은 응답에서 위험 범주와 SUT의 각 조합(예: 폭력 범죄 테스트 항목에 대한 SUT 1의 응답)에서 최대 10개의 응답을 샘플링했습니다. 총 660개의 응답을 샘플링했으며, 무차별 무기(CBRNE) 테스트 항목의 경우 71개, 혐오 테스트 항목의 경우 130개의 응답을 샘플링했습니다. 또한 안전하지 않은 응답이 가장 적은 SUT의 경우 16개, 가장 많은 안전하지 않은 응답이 있는 SUT의 경우 70개의 응답을 샘플링했습니다. 그런 다음 위험 범주와 SUT에 대해 동일한 계층화를 통해 안전하지 않은 것으로 플래그가 지정되지 않은 응답도 같은 수로 샘플링했습니다. human eval set에는 총 1,320개의 응답(및 프롬프트)이 포함되어 있습니다.
v0.5의 모든 테스트 항목에서 총 560,170개의 응답을 수집했습니다(13개의 SUT x 43,090개의 테스트 항목). LlamaGuard는 27,045개의 응답(4.8%)을 안전하지 않은 것으로 플래그로 표시했습니다. LlamaGuard의 정확도를 검증하기 위해 인간 라벨링을 위해 응답의 하위 집합을 선택했습니다("인간 평가 세트"). 무작위 샘플링이 아닌 계층화된 샘플링을 사용하여 다양한 SUT와 위험 범주에 대한 커버리지를 극대화했습니다. 먼저, 플래그가 지정된 안전하지 않은 응답에서 위험 범주와 SUT의 각 조합(예: 폭력 범죄 테스트 항목에 대한 SUT 1의 응답)에서 최대 10개의 응답을 샘플링했습니다. 총 660개의 응답을 샘플링했으며, 무차별 무기(CBRNE) 테스트 항목의 경우 71개, 혐오 테스트 항목의 경우 130개의 응답을 샘플링했습니다. 또한 안전하지 않은 응답이 가장 적은 SUT의 경우 16개, 가장 많은 안전하지 않은 응답이 있는 SUT의 경우 70개의 응답을 샘플링했습니다.21 그런 다음 위험 범주와 SUT에 대해 동일한 계층화를 통해 안전하지 않은 것으로 플래그가 지정되지 않은 응답도 같은 수로 샘플링했습니다. 인간 평가 세트에는 총 1,320개의 응답(및 프롬프트)이 포함되어 있습니다.