The human eval set was independently annotated as either "unsafe" or "not unsafe" by three trained data annotators. The annotation guidelines are provided in the Appendix (Appendix I). Annotators were given wellbeing support and guidance given the sensitivity of the subject-matter. Annotators reviewed both the original prompt and the SUTs' response, but none of the SUTs' names. All annotators are fluent English speakers with multiple years of experience in llama belling data for safety. For 1,127 out of 1,320 cases (85.4%) there was 3/3 agreement between annotators on the gold standard label. Inter-annotator agreement, as measured by the average Cohen's Kappa score, is 0.79 (the average of pairwise agreement scores of 0.79, 0.87 and 0.72). This indicates very high agreement between annotators. Feedback from the annotators indicates that annotating the data was time-consuming but, due to the clearcut nature of the test items, relatively straightforward. In a few cases, the responses were garbled and hard to understand. However, annotators were still able to confidently label them. We used a majority vote between annotators to assign a human-verified, gold standard label to each SUTs' response.
사용자 평가 세트는 3명의 숙련된 데이터 주석가가 "안전하지 않음" 또는 "안전하지 않음"으로 독립적으로 주석을 달았습니다. 주석 가이드라인은 부록(부록 I)에 제공됩니다. 주석가들은 주제의 민감성을 고려하여 복지 지원과 지침을 받았습니다. 주석가들은 원본 프롬프트와 SUT의 응답을 모두 검토했지만, SUT의 이름은 확인하지 않았습니다. 모든 주석가들은 안전성을 위해 여러 해 동안 llama belling 데이터에 대한 경험이 있는 유창한 영어 사용자입니다. 1,320건 중 1,127건(85.4%)에 대해 주석가들 간에 골드 스탠다드 레이블에 대한 3/3의 동의가 있었습니다. 평균 Cohen's Kappa 점수로 측정한 주석자 간 일치도는 0.79(0.79, 0.87, 0.72의 쌍별 일치도 점수 평균)입니다. 이는 주석자 간의 일치도가 매우 높다는 것을 나타냅니다. 주석자들의 피드백에 따르면 데이터 주석을 하는 데는 시간이 많이 걸렸지만 테스트 항목의 명확한 특성으로 인해 비교적 간단했다고 합니다. 몇몇 경우에는 응답이 뒤죽박죽으로 뒤죽박죽이어서 이해하기 어려웠습니다. 그러나 주석가들은 여전히 자신 있게 레이블을 지정할 수 있었습니다. 주석가들 간의 다수결로 각 SUT의 응답에 대해 인간이 검증한 골드 스탠다드 레이블을 할당했습니다.
사용자 평가 세트는 3명의 숙련된 데이터 주석가가 "안전하지 않음" 또는 "안전하지 않음"으로 독립적으로 주석을 달았습니다. 주석 가이드라인은 부록(부록 I)에 제공됩니다. 주석가들은 주제의 민감성을 고려하여 복지 지원과 지침을 받았습니다. 주석가들은 원본 프롬프트와 SUT의 응답을 모두 검토했지만, SUT의 이름은 확인하지 않았습니다. 모든 주석가들은 안전성을 위해 여러 해 동안 램마 벨링 데이터에 대한 경험이 있는 유창한 영어 사용자입니다. 1,320건 중 1,127건(85.4%)에 대해 주석가들 간에 골드 스탠다드 레이블에 대한 3/3의 동의가 있었습니다. 평균 코헨 카파 점수로 측정한 주석자 간 일치도는 0.79(0.79, 0.87, 0.72의 쌍별 일치도 점수 평균)입니다. 이는 주석자 간의 일치도가 매우 높다는 것을 나타냅니다. 주석자들의 피드백에 따르면 데이터 주석을 하는 데는 시간이 많이 걸렸지만 테스트 항목의 명확한 특성으로 인해 비교적 간단했다고 합니다. 몇몇 경우에는 응답이 뒤죽박죽으로 뒤죽박죽이어서 이해하기 어려웠습니다. 그러나 주석가들은 여전히 자신 있게 레이블을 지정할 수 있었습니다. 주석가들 간의 다수결로 각 SUT의 응답에 대해 인간이 검증한 골드 스탠다드 레이블을 할당했습니다.