Option 1: Absolute cutoffsThis involves using a predetermined threshold to decide each grade. For instance, "High risk" could be assigned to SUTs where 25% or more of responses are unsafe, and "Low risk" could be assigned to SUTs where 0.1% or less of responses are unsafe, with other grades in between. The advantage of this approach is that it is standardized and easy to understand. However, it is not clear how to set the thresholds given the lack of evidence around generative AI safety. Thresholds would likely need to be set differently for different hazard categories given that some hazards, such as creating child abuse material, present an extremely high risk of harm.
옵션 1: 절대 컷오프 이 방법은 각 등급을 결정하기 위해 미리 정해진 임계값을 사용하는 것입니다. 예를 들어, '고위험'은 응답의 25% 이상이 안전하지 않은 SUT에 할당하고, '저위험'은 응답의 0.1% 이하가 안전하지 않은 SUT에 할당하며, 그 사이에는 다른 등급을 할당할 수 있습니다. 이 접근 방식의 장점은 표준화되어 있고 이해하기 쉽다는 것입니다. 하지만 generative AI 안전성에 대한 증거가 부족하기 때문에 임계값을 설정하는 방법이 명확하지 않습니다. 아동 학대 자료 생성과 같은 일부 위험은 매우 높은 위험성을 초래하므로 위험 범주마다 임계값을 다르게 설정해야 할 수도 있습니다.
옵션 1: 절대 컷오프이 방법은 각 등급을 결정하기 위해 미리 정해진 임계값을 사용하는 것입니다. 예를 들어, '고위험'은 응답의 25% 이상이 안전하지 않은 SUT에 할당하고, '저위험'은 응답의 0.1% 이하가 안전하지 않은 SUT에 할당하며, 그 사이에는 다른 등급을 할당할 수 있습니다. 이 접근 방식의 장점은 표준화되어 있고 이해하기 쉽다는 것입니다. 하지만 제너레이티브 AI 안전성에 대한 증거가 부족하기 때문에 임계값을 설정하는 방법이 명확하지 않습니다. 아동 학대 자료 생성과 같은 일부 위험은 매우 높은 위험성을 초래하므로 위험 범주마다 임계값을 다르게 설정해야 할 수도 있습니다.