Of the 660 items in the human eval set categorised as unsafe (based on the classifications provided by LlamaGuard), 358 are unsafe (based on the annotators' gold standard labels) and 302 are not unsafe. Accuracy is 54.2%. Of the 660 items in the human eval set categorised as not unsafe (based on the classifications provided by LlamaGuard), 88 are unsafe (based on the annotators' gold standard labels) and 572 are not unsafe. Accuracy is 86.7%. Overall, the accuracy of LlamaGuard is 70.4% on the human eval set. Due to the relatively small size of the human eval set, we do not analyse more finegrained categories, such as the performance of LlamaGuard on specific hazard categories or SUTs. The heavily imbalanced nature of the full dataset of 560,170 responses (of which only 533,125 or 95.2% are labelled Not Unsafe), and the better performance of the evaluator model on responses categorised as not unsafe, means that accuracy of LlamaGuard on the full dataset is higher than the eval set. If we weight the full dataset by the distribution of responses, accuracy is 85.6% (based on 86.7% x 95.2% plus 54.2% x 4.8%). Overall, although performance could be improved, LlamaGuard is sufficiently accurate at identifying unsafe and not unsafe responses to be used for the v0.5 Benchmark. We aim to improve performance of the evaluator model in future releases.
LlamaGuard에서 제공한 분류를 기준으로 unsafe한 것으로 분류된 인간 평가 세트의 660개 항목 중 358개 항목은 unsafe한 것으로 분류되었으며(주관자의 gold standard 레이블 기준), 302개 항목은 unsafe하지 않은 것으로 분류되었습니다. 정확도는 54.2%입니다. 인간 평가 세트의 660개 항목 중 unsafe하지 않은 것으로 분류된 항목(LlamaGuard에서 제공한 분류를 기준) 중 88개 항목은 unsafe한 것으로 분류되었으며(주관자의 gold standard 레이블 기준), 572개 항목은 unsafe하지 않은 것으로 분류되었습니다. 정확도는 86.7%입니다. 전체적으로 인간 평가 세트에서 LlamaGuard의 정확도는 70.4%입니다. 인간 평가 세트의 규모가 상대적으로 작기 때문에 특정 hazard 범주 또는 SUT에 대한 LlamaGuard의 성능과 같이 더 세분화된 범주를 분석하지 않습니다. 560,170개의 응답으로 구성된 전체 데이터 세트의 불균형한 특성(이 중 533,125개 또는 95.2%만 unsafe하지 않음으로 레이블이 지정됨)과 unsafe하지 않은 것으로 분류된 응답에 대한 evaluator 모델의 더 나은 성능으로 인해 전체 데이터 세트에서 LlamaGuard의 정확도가 평가 세트보다 높습니다. 전체 데이터 세트에 응답 분포에 따라 가중치를 부여하면 정확도는 85.6%(86.7% x 95.2% + 54.2% x 4.8% 기준)입니다. 전반적으로 성능을 개선할 수 있지만, LlamaGuard는 v0.5 Benchmark에 사용할 수 있을 만큼 unsafe한 응답을 식별하는 데 충분히 정확합니다. 향후 릴리스에서는 evaluator 모델의 성능을 개선할 계획입니다.
LlamaGuard에서 제공한 분류를 기준으로 안전하지 않은 것으로 분류된 인간 평가 세트의 660개 항목 중 358개 항목은 안전하지 않은 것으로 분류되었으며(주관자의 골드 표준 레이블 기준), 302개 항목은 안전하지 않은 것으로 분류되었습니다. 정확도는 54.2%입니다. 인간 평가 세트의 660개 항목 중 안전하지 않은 것으로 분류된 항목(LlamaGuard에서 제공한 분류를 기준) 중 88개 항목은 안전하지 않은 것으로 분류되었으며(주관자의 골드 표준 레이블 기준), 572개 항목은 안전하지 않은 것으로 분류되었습니다. 정확도는 86.7%입니다. 전체적으로 인간 평가 세트에서 LlamaGuard의 정확도는 70.4%입니다. 인간 평가 세트의 규모가 상대적으로 작기 때문에 특정 위험 범주 또는 SUT에 대한 LlamaGuard의 성능과 같이 더 세분화된 범주를 분석하지 않습니다. 560,170개의 응답으로 구성된 전체 데이터 세트의 불균형한 특성(이 중 533,125개 또는 95.2%만 안전하지 않음으로 레이블이 지정됨)과 안전하지 않은 것으로 분류된 응답에 대한 평가자 모델의 더 나은 성능으로 인해 전체 데이터 세트에서 LlamaGuard의 정확도가 평가 세트보다 높습니다. 전체 데이터 세트에 응답 분포에 따라 가중치를 부여하면 정확도는 85.6%(86.7% x 95.2% + 54.2% x 4.8% 기준)입니다. 전반적으로 성능을 개선할 수 있지만, LlamaGuard는 v0.5 벤치마크에 사용할 수 있을 만큼 안전하지 않은 응답을 식별하는 데 충분히 정확합니다. 향후 릴리스에서는 평가자 모델의 성능을 개선할 계획입니다.