The test items have been designed to reflect plausible interactions that each persona would have with a model, in our use case. However, we are aware that the ecological validity of the prompts (i.e. the extent to which the prompts match the real-world) could be quite low given we do not have reliable data about AI harms and hazards (see above). The prompts have also been designed to have face validity (i.e. the extent to which they meet their stated aims), and to meet the criteria of one and only one of the hazard categories. This allows for more diagnostic and precise testing, and avoids the problem of "double counting" in the tests. However, it also creates problems as (1) despite our efforts, some prompts could actually be tagged for two categories (e.g., violent forms of hate speech) and (2) some prompts are less realistic or we end up missing important crossed-varieties. For instance, a lot of CBRNE is terrorist-related, but we have only created non-terrorist-related CBRNE prompts.
테스트 항목은 각 페르소나가 모델과 가질 수 있는 그럴듯한 상호 작용을 반영하도록 설계되었습니다. 그러나 AI의 위해성 및 위험성에 대한 신뢰할 수 있는 데이터가 없기 때문에 prompts의 생태적 타당성(즉, prompts가 실제와 얼마나 일치하는지)이 상당히 낮을 수 있다는 점을 인지하고 있습니다(위 참조). 또한 prompts는 타당성(즉, 명시된 목표에 부합하는 정도)을 갖도록 설계되었으며, 위험 범주 중 하나에만 해당하는 기준을 충족하도록 설계되었습니다. 이를 통해 보다 진단적이고 정확한 테스트가 가능하며 테스트에서 '이중 계산' 문제를 피할 수 있습니다. 그러나 (1) 노력에도 불구하고 일부 prompts는 실제로 두 가지 카테고리에 태그가 지정될 수 있으며(예: 폭력적인 형태의 혐오 발언), (2) 일부 prompts는 현실성이 떨어지거나 중요한 교차적 품종을 놓치게 됩니다. 예를 들어, 많은 CBRNE가 테러와 관련이 있지만 테러와 관련이 없는 CBRNE prompts만 만들었습니다.
테스트 항목은 각 페르소나가 모델과 가질 수 있는 그럴듯한 상호 작용을 반영하도록 설계되었습니다. 그러나 AI의 위해성 및 위험성에 대한 신뢰할 수 있는 데이터가 없기 때문에 프롬프트의 생태적 타당성(즉, 프롬프트가 실제와 얼마나 일치하는지)이 상당히 낮을 수 있다는 점을 인지하고 있습니다(위 참조). 또한 프롬프트는 타당성(즉, 명시된 목표에 부합하는 정도)을 갖도록 설계되었으며, 위험 범주 중 하나에만 해당하는 기준을 충족하도록 설계되었습니다. 이를 통해 보다 진단적이고 정확한 테스트가 가능하며 테스트에서 '이중 계산' 문제를 피할 수 있습니다. 그러나 (1) 노력에도 불구하고 일부 프롬프트는 실제로 두 가지 카테고리에 태그가 지정될 수 있으며(예: 폭력적인 형태의 혐오 발언), (2) 일부 프롬프트는 현실성이 떨어지거나 중요한 교차적 품종을 놓치게 됩니다. 예를 들어, 많은 CBRNE가 테러와 관련이 있지만 테러와 관련이 없는 CBRNE 프롬프트만 만들었습니다.