All of the sentence fragments have been created by human experts with experience in AI safety. Each fragment was validated by two other experts for relevance and adjusted, if needed. We considered using AI to generate prompts [50, 51, 52, 53] but decided to hand-craft them, as it ensures consistent coverage across hazard categories and types of interactions. This is important for face validity and aligning the test cases with our scope and goals. Future versions of the benchmark will incorporate AI-generated prompts, with human checks to ensure quality and diversity.
모든 문장 조각은 AI 안전에 대한 경험이 있는 인간 전문가에 의해 작성되었습니다. 각 조각은 두 명의 다른 전문가가 관련성을 검증하고 필요한 경우 조정했습니다. 프롬프트 생성에 AI를 사용하는 것도 고려했지만[50, 51, 52, 53], hazard 범주와 상호 작용 유형에 걸쳐 일관된 커버리지를 보장하기 위해 수작업으로 생성하기로 결정했습니다. 이는 face validity를 확보하고 테스트 사례를 범위 및 목표에 맞게 조정하는 데 중요합니다. 향후 버전의 벤치마크에는 AI가 생성한 prompts가 포함되며, 품질과 다양성을 보장하기 위해 사람이 검토합니다.
모든 문장 조각은 AI 안전에 대한 경험이 있는 인간 전문가에 의해 작성되었습니다. 각 조각은 두 명의 다른 전문가가 관련성을 검증하고 필요한 경우 조정했습니다. 프롬프트 생성에 AI를 사용하는 것도 고려했지만[50, 51, 52, 53], 위험 범주와 상호 작용 유형에 걸쳐 일관된 커버리지를 보장하기 위해 수작업으로 생성하기로 결정했습니다. 이는 타당성을 확보하고 테스트 사례를 범위 및 목표에 맞게 조정하는 데 중요합니다. 향후 버전의 벤치마크에는 AI가 생성한 프롬프트가 포함되며, 품질과 다양성을 보장하기 위해 사람이 검토합니다.