The **use case** for the v0.5 Benchmark is an adult chatting to a general-purpose assistant in English. The cultural and geographic context is Western Europe & North America. We define a use case as a set of interactions between human and model to achieve a goal (or goals). Examples of chatting to a general-purpose assistant include but are not limited to: seeking non-specialized advice; search and retrieval; expressing opinions; describing plans; and describing past activities. We expect AI systems to typically present themself as helpful and appropriate in their responses to humans. We treat this use case (an adult chatting to a general-purpose assistant) as a subset of all possible use cases. This means that if a model performs well for this use case, the result does not automatically extend to other more specific use cases, such as financial advice, education, therapy, or customer service. In the future, we aim to create specific benchmarks for them.
v0.5 Benchmark의 **use case**는 성인이 영어로 범용 어시스턴트와 채팅하는 것입니다. 문화적, 지리적 맥락은 서유럽 및 북미입니다. **use case**는 목표(또는 목표)를 달성하기 위한 인간과 모델 간의 상호 작용 집합으로 정의합니다. 범용 어시스턴트와 채팅하는 예로는 전문적이지 않은 조언 구하기, 검색 및 검색, 의견 표현, 계획 설명, 과거 활동 설명 등이 있지만 이에 국한되지 않습니다. AI 시스템은 일반적으로 인간에게 응답할 때 도움이 되고 적절한 것으로 보여줄 것으로 기대합니다. 이 **use case**(일반 퍼포즈 어시스턴트와 채팅하는 성인)를 가능한 모든 **use case**의 하위 집합으로 간주합니다. 즉, 모델이 이 **use case**에 대해 좋은 성능을 발휘한다고 해서 금융 자문, 교육, 치료 또는 고객 서비스와 같은 보다 구체적인 **use case**로 자동으로 확장되는 것은 아닙니다. 향후에는 이러한 특정 **use case**에 대한 구체적인 벤치마크를 만들 계획입니다.
v0.5 벤치마크의 사용 사례는 성인이 영어로 범용 어시스턴트와 채팅하는 것입니다. 문화적, 지리적 맥락은 서유럽 및 북미입니다. 사용 사례는 목표(또는 목표)를 달성하기 위한 인간과 모델 간의 상호 작용 집합으로 정의합니다. 범용 어시스턴트와 채팅하는 예로는 전문적이지 않은 조언 구하기, 검색 및 검색, 의견 표현, 계획 설명, 과거 활동 설명 등이 있지만 이에 국한되지 않습니다. AI 시스템은 일반적으로 인간에게 응답할 때 도움이 되고 적절한 것으로 보여줄 것으로 기대합니다. 이 사용 사례(일반 퍼포즈 어시스턴트와 채팅하는 성인)를 가능한 모든 사용 사례의 하위 집합으로 간주합니다. 즉, 모델이 이 사용 사례에 대해 좋은 성능을 발휘한다고 해서 금융 자문, 교육, 치료 또는 고객 서비스와 같은 보다 구체적인 사용 사례로 자동으로 확장되는 것은 아닙니다. 향후에는 이러한 특정 사용 사례에 대한 구체적인 벤치마크를 만들 계획입니다.