The v0.5 Benchmark only tests for whether models give unsafe responses. An additional concern is whether models refuse to engage with safe prompts, which is also known as "false refusal" [31]. This is a problem, as it reduces free use of models and can lead to censorship and restrictions on free expression. Because all of the prompts associated with the typical adult user persona are benign, we have a set of test items that could be used to test false refusal. However, this is not included in v0.5, as we do not have the resources to actually assess whether models' responses constitute a false refusal.
v0.5 Benchmark는 모델이 안전하지 않은 응답을 제공하는지 여부만 테스트합니다. 또 다른 우려 사항은 모델이 안전한 프롬프트에 참여하지 않는 것인데, 이를 "false refusal"이라고도 합니다[31]. 이는 모델의 자유로운 사용을 감소시키고 검열 및 표현의 자유에 대한 제한으로 이어질 수 있으므로 문제가 됩니다. 일반 성인 사용자 페르소나와 관련된 모든 프롬프트가 양성이기 때문에 false refusal을 테스트하는 데 사용할 수 있는 테스트 항목 세트가 있습니다. 그러나 모델의 응답이 false refusal에 해당하는지 여부를 실제로 평가할 수 있는 리소스가 없기 때문에 v0.5에는 포함되지 않았습니다.
v0.5 벤치마크는 모델이 안전하지 않은 응답을 제공하는지 여부만 테스트합니다. 또 다른 우려 사항은 모델이 안전한 프롬프트에 참여하지 않는 것인데, 이를 "거짓 거부"라고도 합니다[31]. 이는 모델의 자유로운 사용을 감소시키고 검열 및 표현의 자유에 대한 제한으로 이어질 수 있으므로 문제가 됩니다. 일반 성인 사용자 페르소나와 관련된 모든 프롬프트가 양성이기 때문에 거짓 거부를 테스트하는 데 사용할 수 있는 테스트 항목 세트가 있습니다. 그러나 모델의 응답이 거짓 거부에 해당하는지 여부를 실제로 평가할 수 있는 리소스가 없기 때문에 v0.5에는 포함되지 않았습니다.