1. HarmBench is a standardized evaluation framework for automated red teaming of LMs in English [114]. It covers 18 red teaming methods and tests 33 LMs. The benchmark has been designed with seven semantic categories (e.g., Cybercrime) and four "functional categories" (e.g., Standard behaviors). 2. TrustLLM is a benchmark that covers six dimensions in English (e.g., Safety, Fairness) and over 30 datasets [152]. They test 16 open-source and proprietary models, and identify critical safety weaknesses.
HarmBench는 영어로 된 LMs의 자동화된 red teaming 평가를 위한 표준화된 평가 프레임워크입니다[114]. 18가지 red teaming 방법을 다루고 33개의 LMs을 테스트합니다. 이 벤치마크는 7가지 의미 범주(예: Cybercrime)와 4가지 '기능 범주'(예: Standard behaviors)로 설계되었습니다. TrustLLM은 영어로 6가지 차원(예: Safety, Fairness)과 30개 이상의 데이터 세트를 다루는 벤치마크입니다[152]. 16개의 오픈 소스 및 독점 모델을 테스트하여 중요한 안전 취약점을 파악합니다.
1. HarmBench는 영어로 된 LM의 자동화된 레드 팀 평가를 위한 표준화된 평가 프레임워크입니다[114]. 18가지 레드 팀 방법을 다루고 33개의 LM을 테스트합니다. 이 벤치마크는 7가지 의미 범주(예: 사이버 범죄)와 4가지 '기능 범주'(예: 표준 동작)로 설계되었습니다. 2. TrustLLM은 영어로 6가지 차원(예: 안전성, 공정성)과 30개 이상의 데이터 세트를 다루는 벤치마크입니다[152]. 16개의 오픈 소스 및 독점 모델을 테스트하여 중요한 안전 취약점을 파악합니다.