The systems under test (SUTs) are general-purpose AI chat systems, which we define as AI models that have been trained (e.g., fine-tuned or instruction-tuned) to engage in open-ended conversations on a variety of topics. In principle, AI systems can have additional features, such as guardrails, safety-emphasising system prompts or safety filters.8 These could influence the systems' operations or how they are interacted with [30], but are not included with the SUTs for v0.5 for simplicity. We also do not test the Graphical User Interface or any other user-facing aspects that each system might have.
테스트 대상 시스템(SUT)은 범용 AI 채팅 시스템으로, 다양한 주제에 대해 개방형 대화에 참여하도록 훈련(예: Fine-tuning 또는 Instruction Tuning)받은 AI 모델로 정의합니다. 원칙적으로 AI 시스템에는 가이드레일, 안전 강조 시스템 프롬프트 또는 안전 필터와 같은 추가 기능이 있을 수 있습니다. 이러한 기능은 시스템의 작동이나 상호 작용 방식에 영향을 미칠 수 있지만, 단순화를 위해 v0.5의 SUT에는 포함되지 않습니다. 또한 각 시스템에 있을 수 있는 그래픽 사용자 인터페이스 또는 기타 사용자 대면 측면도 테스트하지 않습니다.
테스트 대상 시스템(SUT)은 범용 AI 채팅 시스템으로, 다양한 주제에 대해 개방형 대화에 참여하도록 훈련(예: 미세 조정 또는 지시 튜닝)받은 AI 모델로 정의합니다. 원칙적으로 AI 시스템에는 가이드레일, 안전 강조 시스템 프롬프트 또는 안전 필터와 같은 추가 기능이 있을 수 있습니다.8 이러한 기능은 시스템의 작동이나 상호 작용 방식에 영향을 미칠 수 있지만[30], 단순화를 위해 v0.5의 SUT에는 포함되지 않습니다. 또한 각 시스템에 있을 수 있는 그래픽 사용자 인터페이스 또는 기타 사용자 대면 측면도 테스트하지 않습니다.