Directed evaluationDirected evaluation involves principled and clearly defined evaluation of models for known risks. Typically, models are tested against a set of clearly defined prompts that have been assigned to a clear set of categories and subcategories. Benchmarks and evaluation suites are typically directed evaluation, such as [30, 31, 152, 153]. Another form of directed evaluation is testing models' Natural Language Understanding for toxic content, which involves using LMs as zero-shot or few-shot classifiers to assess whether user-generated content is a violation of safety policies. If models are good at this task, it indicates that they have a strong natural language understanding of hazardous content [154], and therefore have the potential to be safe. The primary benefit of directed evaluation is that the results are highly interpretable and standardized, which enables us to make comparisons across time and across models. However, one limitation is that since the tests are not tailored to the characteristics or capabilities of the individual models, they may not fully challenge or evaluate the unique aspects of each model. Further, it takes time to develop, release and update directed evaluation test sets, which risks them going out of date given the rapid pace of AI development [155].
지시형 평가. 지시형 평가에는 알려진 위험에 대한 모델에 대한 원칙적이고 명확하게 정의된 평가가 포함됩니다. 일반적으로 모델은 명확한 범주 및 하위 범주 집합에 할당된 명확하게 정의된 프롬프트 집합에 대해 테스트됩니다. 벤치마크 및 평가 제품군은 일반적으로 [30, 31, 152, 153]과 같은 지시형 평가입니다. 지시형 평가의 또 다른 형태는 유해 콘텐츠에 대한 모델의 Natural Language Understanding을 테스트하는 것으로, 사용자 생성 콘텐츠가 안전 정책을 위반하는지 여부를 평가하기 위해 LMs을 zero-shot 또는 few-shot 분류기로 사용하는 것을 포함합니다. 모델이 이 작업을 잘 수행하면 해당 모델이 위험한 콘텐츠에 대한 Natural Language Understanding이 뛰어나므로 안전할 가능성이 높다는 것을 나타냅니다[154]. 지시형 평가의 주요 장점은 결과를 고도로 해석할 수 있고 표준화되어 있어 시간과 모델 간에 비교할 수 있다는 것입니다. 그러나 한 가지 한계는 테스트가 개별 모델의 특성이나 기능에 맞게 조정되지 않기 때문에 각 모델의 고유한 측면을 완전히 도전하거나 평가하지 못할 수 있다는 것입니다. 또한 지시형 평가 테스트 세트를 개발, 출시 및 업데이트하는 데 시간이 걸리므로 AI 개발의 빠른 속도를 고려할 때 오래된 테스트 세트가 될 위험이 있습니다[155].
지시형 평가지시형 평가에는 알려진 위험에 대한 모델에 대한 원칙적이고 명확하게 정의된 평가가 포함됩니다. 일반적으로 모델은 명확한 범주 및 하위 범주 집합에 할당된 명확하게 정의된 프롬프트 집합에 대해 테스트됩니다. 벤치마크 및 평가 제품군은 일반적으로 [30, 31, 152, 153]과 같은 지시형 평가입니다. 지시형 평가의 또 다른 형태는 유해 콘텐츠에 대한 모델의 자연어 이해력을 테스트하는 것으로, 사용자 생성 콘텐츠가 안전 정책을 위반하는지 여부를 평가하기 위해 LM을 제로샷 또는 푸샷 분류기로 사용하는 것을 포함합니다. 모델이 이 작업을 잘 수행하면 해당 모델이 위험한 콘텐츠에 대한 자연어 이해력이 뛰어나므로 안전할 가능성이 높다는 것을 나타냅니다[154]. 지시형 평가의 주요 장점은 결과를 고도로 해석할 수 있고 표준화되어 있어 시간과 모델 간에 비교할 수 있다는 것입니다. 그러나 한 가지 한계는 테스트가 개별 모델의 특성이나 기능에 맞게 조정되지 않기 때문에 각 모델의 고유한 측면을 완전히 도전하거나 평가하지 못할 수 있다는 것입니다. 또한 지시형 평가 테스트 세트를 개발, 출시 및 업데이트하는 데 시간이 걸리므로 AI 개발의 빠른 속도를 고려할 때 오래된 테스트 세트가 될 위험이 있습니다[155].