Exploratory evaluationExploratory evaluation involves open-ended, ad-hoc evaluation of models for novel, unknown, or poorly understood risks. It is well-suited to testing more complex interactions with models, such as multi-turn conversations and use of agents, and is particularly important for assessing frontier models. Red teaming, which has become one of the most popular ways of assessing safety risks, is a form of exploratory evaluation. It involves tasking annotators and experts with probing a model-in-the-loop to identify flaws and vulnerabilities [156]. Red teaming can be implemented both using humans (as with the OpenAI Red Teaming Network29) and AI models [35, 51, 52, 66]. It is very flexible, and a core focus has been understanding susceptibility to being manipulated, persuaded, directed or encouraged to give hazardous responses (often called jailbreaking, prompt injecting, or adversarially attacking) [157, 158, 159]. In 2023, a large-scale red teaming effort organized at the DefCon hacker's conference, which involved over \(2,200\) people, identified numerous model weaknesses, developed hazard categories, and identified effective strategies for red teaming [160].
탐색적 평가탐색적 평가에는 새롭거나 알려지지 않았거나 잘 이해되지 않은 위험에 대한 모델의 개방형, 임시 평가가 포함됩니다. 이 방법은 multi-turn conversations 및 에이전트 사용과 같은 모델과의 복잡한 상호 작용을 테스트하는 데 적합하며, 특히 frontier 모델을 평가하는 데 중요합니다. 안전 위험을 평가하는 가장 인기 있는 방법 중 하나가 된 red teaming은 탐색적 평가의 한 형태입니다. 이 방법은 주석가와 전문가에게 모델을 테스트하여 결함과 취약성을 파악하는 작업을 맡깁니다[156]. red teaming은 인간(OpenAI Red Teaming Network29)과 AI 모델[35, 51, 52, 66]을 모두 사용하여 구현할 수 있습니다. 이 방법은 매우 유연하며, 위험한 응답을 제공하도록 조작, 설득, 지시 또는 권유받는 취약성을 파악하는 데 중점을 두고 있습니다(흔히 jailbreaking, prompt injecting 또는 adversarially attacking이라고 함)[157, 158, 159]. 2023년에는 2,200명 이상의 사람들이 참여한 DefCon 해커 컨퍼런스에서 대규모 red teaming 활동을 통해 수많은 모델의 약점을 파악하고 위험 범주를 개발했으며, red teaming을 위한 효과적인 전략을 파악했습니다[160].
탐색적 평가탐색적 평가에는 새롭거나 알려지지 않았거나 잘 이해되지 않은 위험에 대한 모델의 개방형, 임시 평가가 포함됩니다. 이 방법은 다중 턴 대화 및 에이전트 사용과 같은 모델과의 복잡한 상호 작용을 테스트하는 데 적합하며, 특히 프론티어 모델을 평가하는 데 중요합니다. 안전 위험을 평가하는 가장 인기 있는 방법 중 하나가 된 레드 팀은 탐색적 평가의 한 형태입니다. 이 방법은 주석가와 전문가에게 모델을 테스트하여 결함과 취약성을 파악하는 작업을 맡깁니다[156]. 레드 팀은 인간(OpenAI 레드 팀 네트워크29)과 AI 모델[35, 51, 52, 66]을 모두 사용하여 구현할 수 있습니다. 이 방법은 매우 유연하며, 위험한 응답을 제공하도록 조작, 설득, 지시 또는 권유받는 취약성을 파악하는 데 중점을 두고 있습니다(흔히 탈옥, 프롬프트 삽입 또는 적대적 공격이라고 함)[157, 158, 159]. 2023년에는 2,200명 이상의 사람들이 참여한 DefCon 해커 컨퍼런스에서 대규모 레드 팀 활동을 통해 수많은 모델의 약점을 파악하고 위험 범주를 개발했으며, 레드 팀을 위한 효과적인 전략을 파악했습니다[160].