For automatic evaluation, we use the same benchmarks as is for the base model, detailed in Sec. 6.1.1. We use both zero-shot and few-shot methods but generally, zero-shot is more suitable for chat models. Our evaluation involves generating responses while following instructions explicitly or implicitly (such as the format in the few-shot examples). We then isolate relevant answers from the generated text. Unlike the base model, for the zero-shot evaluations on the GSM8K and BBH datasets, we employ the Chain-of-Thought (CoT) approach to guide the model in deliberation before reaching an answer.
자동 평가를 위해 기본 모델에 동일한 벤치마크를 사용하며, 이는 섹션 6.1.1에서 자세히 설명합니다. 저희는 zero-shot과 few-shot 방법을 모두 사용하지만 일반적으로 zero-shot은 채팅 모델에 더 적합합니다. 평가에는 명시적 또는 암시적으로 instructions을 따르면서 응답을 생성하는 방식(예: few-shot 예제의 형식)이 포함됩니다. 그런 다음 생성된 텍스트에서 관련 답변을 분리합니다. 기본 모델과 달리 GSM8K 및 BBH 데이터 세트에 대한 zero-shot 평가의 경우, 모델이 답변에 도달하기 전에 숙의를 진행하도록 안내하는 Chain-of-Thought (CoT) 접근 방식을 사용합니다.
자동 평가를 위해 기본 모델에 동일한 벤치마크를 사용하며, 이는 섹션 6.1.1에서 자세히 설명합니다. 저희는 0샷과 몇 샷 방법을 모두 사용하지만 일반적으로 0샷은 채팅 모델에 더 적합합니다. 평가에는 명시적 또는 암시적으로 지침을 따르면서 응답을 생성하는 방식(예: 몇 샷 예제의 형식)이 포함됩니다. 그런 다음 생성된 텍스트에서 관련 답변을 분리합니다. 기본 모델과 달리 GSM8K 및 BBH 데이터 세트에 대한 0샷 평가의 경우, 모델이 답변에 도달하기 전에 숙의를 진행하도록 안내하는 생각의 사슬(CoT) 접근 방식을 사용합니다.