Chat responseIn this setup, models are given prompts and they respond with a free text chat response. The prompt is usually a request or instruction. This approach closely replicates how people actually interact with models and is widely used in existing datasets [47, 48, 49]. However, free text is hard to assess, as models can respond in many different ways. It is not always clear what constitutes a "safe" or "unsafe" answer if the prompt is ambiguous or context-dependent. Chat responses can be split into single-turn and multi-turn interactions. Multi-turn is a more realistic reflection of how most people interact with models, which typically involves a conversation with several inputs and outputs - such as clarifying requests, giving feedback or updating requirements. At the same time, multi-turn interactions are far more difficult to assess than single turn interactions as the second turn in the conversation must be generated in-context to the models' first response. This creates a garden of forking paths that is hard to automatically review.
채팅 응답이 설정에서는 모델에 프롬프트가 제공되고 모델은 자유 텍스트 채팅 응답으로 응답합니다. 프롬프트는 일반적으로 요청 또는 Instruction입니다. 이 접근 방식은 사람들이 실제로 모델과 상호 작용하는 방식을 면밀히 모방한 것으로, 기존 데이터 세트 [47, 48, 49]에서 널리 사용되고 있습니다. 그러나 모델이 다양한 방식으로 응답할 수 있기 때문에 자유 텍스트는 평가하기 어렵습니다. 프롬프트가 모호하거나 상황에 따라 달라지는 경우 '안전한' 답변과 '안전하지 않은' 답변이 무엇인지 명확하지 않은 경우가 많습니다. 채팅 응답은 단일 턴과 다중 턴 상호 작용으로 나눌 수 있습니다. 다중 턴은 대부분의 사람들이 모델과 상호 작용하는 방식을 보다 현실적으로 반영하며, 일반적으로 요청을 명확히 하거나 피드백을 제공하거나 요구 사항을 업데이트하는 등 여러 입력과 출력으로 구성된 대화가 포함됩니다. 동시에 대화의 두 번째 턴은 모델의 첫 번째 응답에 따라 컨텍스트에 따라 생성되어야 하므로 멀티 턴 상호 작용은 싱글 턴 상호 작용보다 평가하기가 훨씬 더 어렵습니다. 이로 인해 자동으로 검토하기 어려운 갈라지는 경로의 정원이 만들어집니다.
채팅 응답이 설정에서는 모델에 프롬프트가 제공되고 모델은 자유 텍스트 채팅 응답으로 응답합니다. 프롬프트는 일반적으로 요청 또는 지침입니다. 이 접근 방식은 사람들이 실제로 모델과 상호 작용하는 방식을 면밀히 모방한 것으로, 기존 데이터 세트 [47, 48, 49]에서 널리 사용되고 있습니다. 그러나 모델이 다양한 방식으로 응답할 수 있기 때문에 자유 텍스트는 평가하기 어렵습니다. 프롬프트가 모호하거나 상황에 따라 달라지는 경우 '안전한' 답변과 '안전하지 않은' 답변이 무엇인지 명확하지 않은 경우가 많습니다. 채팅 응답은 단일 턴과 다중 턴 상호 작용으로 나눌 수 있습니다. 다중 턴은 대부분의 사람들이 모델과 상호 작용하는 방식을 보다 현실적으로 반영하며, 일반적으로 요청을 명확히 하거나 피드백을 제공하거나 요구 사항을 업데이트하는 등 여러 입력과 출력으로 구성된 대화가 포함됩니다. 동시에 대화의 두 번째 턴은 모델의 첫 번째 응답에 따라 컨텍스트에 따라 생성되어야 하므로 멀티 턴 상호 작용은 싱글 턴 상호 작용보다 평가하기가 훨씬 더 어렵습니다. 이로 인해 자동으로 검토하기 어려운 갈라지는 경로의 정원이 만들어집니다.