Safety.Red teaming is a powerful technique for evaluating the safety and robustness of AI models (Casper et al., 2023b; Ganguli et al., 2022). By generating diverse and realistic scenarios designed to elicit unaligned or harmful outputs (Casper et al., 2023a), red teaming can expose vulnerabilities and weaknesses in AI systems (Perez et al., 2022). For example, Perez et al. (2023) use LMs to generate datasets for evaluating the behavior of other LMs. They end up producing 154 high-quality datasets which are verified by humans, and discover new cases of inverse scaling where LMs get worse with size. Hubinger et al. (2024) leverage synthetic data to trigger backdoor attacks to LMs at scale; they find LMs can exhibit deceptive behavior and create a false impression of safety under such attacks, and standard "safety training" could not remove such deception easily. These methods demonstrate the feasibility of using AI assistance to scale up human oversight (Bowman et al., 2022) over complex problems and unseen domains.
안전성. Red teaming은 AI 모델의 안전성과 robustness를 평가하는 강력한 기법입니다(Casper 외., 2023b; Ganguli 외., 2022). 정렬되지 않거나 유해한 결과를 이끌어내도록 설계된 다양하고 사실적인 시나리오를 생성함으로써 Red teaming은 AI 시스템의 취약점과 약점을 노출할 수 있습니다(Perez 외., 2022). 예를 들어, Perez 등(2023)은 LMs를 사용하여 다른 LMs의 동작을 평가하기 위한 데이터 세트를 생성합니다. 이들은 결국 인간이 검증한 154개의 고품질 데이터 세트를 생산하고, LMs가 크기가 커질수록 성능이 저하되는 inverse scaling의 새로운 사례를 발견합니다. Hubinger 외(2024)는 합성 데이터를 활용하여 대규모로 LMs에 백도어 공격을 트리거하고, 그 결과 LMs가 이러한 공격 하에서 속이는 행동을 보이며 안전에 대한 잘못된 인상을 심어줄 수 있으며, 표준 "safety training"으로는 이러한 속임수를 쉽게 제거할 수 없다는 사실을 발견했습니다. 이러한 방법은 복잡한 문제와 보이지 않는 영역에 대한 인간의 감독을 확장하는 데 AI 지원을 사용하는 것이 가능하다는 것을 보여줍니다(Bowman 외., 2022).
안전성.레드 팀은 AI 모델의 안전성과 견고성을 평가하는 강력한 기법입니다(Casper 외., 2023b; Ganguli 외., 2022). 정렬되지 않거나 유해한 결과를 이끌어내도록 설계된 다양하고 사실적인 시나리오를 생성함으로써 레드 팀은 AI 시스템의 취약점과 약점을 노출할 수 있습니다(Perez 외., 2022). 예를 들어, Perez 등(2023)은 LM을 사용하여 다른 LM의 동작을 평가하기 위한 데이터 세트를 생성합니다. 이들은 결국 인간이 검증한 154개의 고품질 데이터 세트를 생산하고, LM이 크기가 커질수록 성능이 저하되는 역규모의 새로운 사례를 발견합니다. Hubinger 외(2024)는 합성 데이터를 활용하여 대규모로 LM에 백도어 공격을 트리거하고, 그 결과 LM이 이러한 공격 하에서 속이는 행동을 보이며 안전에 대한 잘못된 인상을 심어줄 수 있으며, 표준 "안전 교육"으로는 이러한 속임수를 쉽게 제거할 수 없다는 사실을 발견했습니다. 이러한 방법은 복잡한 문제와 보이지 않는 영역에 대한 인간의 감독을 확장하는 데 AI 지원을 사용하는 것이 가능하다는 것을 보여줍니다(Bowman 외., 2022).