Tests are designed to be simpleTest items have been designed by a team of AI safety experts to be clear cut, easy to interpret, and easy to assess. They are short and do not use hazard-specific language, are unambiguous and independent of current events, and only test for single-turn interactions. They are also free of adversarial prefixes or prompting tricks that a user may use to elicit harmful behavior because the personas that we tested for are all "unsophisticated". However, this limits their relevance for testing more sophisticated users. We will address this in the future by working more closely with domain experts, and taking inspiration from unstructured datasets of real-world LM interactions [see 69, 70].
테스트는 간단하게 설계되었습니다. 테스트 항목은 AI 안전 전문가 팀에 의해 명확하고 해석하기 쉬우며 평가하기 쉽게 설계되었습니다. 이들은 짧고, 특정 위험 언어를 사용하지 않으며, 모호하지 않고 현재 사건과 독립적이며, 단일 턴 상호작용만을 테스트합니다. 또한, 우리가 테스트한 페르소나가 모두 "비정교적"이기 때문에 사용자가 유해한 행동을 유도하기 위해 사용할 수 있는 적대적 접두사나 프롬프트 트릭이 없습니다. 그러나 이는 더 정교한 사용자를 테스트하는 데 있어 관련성을 제한합니다. 우리는 도메인 전문가와 더 긴밀히 협력하고, 실제 LM 상호작용의 비구조적 데이터셋에서 영감을 얻어 [69, 70 참조] 미래에 이를 해결할 것입니다.
테스트는 간단하게 설계되었습니다.AI 안전 전문가 팀이 명확하고 해석하기 쉬우며 평가하기 쉬운 테스트 항목을 설계했습니다. 테스트는 짧고 위험에 특화된 언어를 사용하지 않으며, 모호하지 않고 최신 이벤트와 무관하며, 단 한 번의 상호 작용만 테스트합니다. 또한 테스트 대상 인물이 모두 "비정교한" 인물이기 때문에 사용자가 유해한 행동을 유도하기 위해 사용할 수 있는 적대적인 접두사나 프롬프트 트릭이 없습니다. 그러나 이는 보다 정교한 사용자를 테스트하는 데 있어 관련성이 제한됩니다. 향후에는 도메인 전문가와 더 긴밀히 협력하고 실제 LM 상호 작용의 비정형 데이터 세트에서 영감을 얻어 이 문제를 해결할 것입니다[69, 70]을 참조하세요.