Math tasks. This is expected as \(\mathtt{Exam}\) contains more math quizzes and exam types(e.g., reading comprehension), potentially boosting the model's performance in most tasks. Interestingly, \(\mathtt{Ruozhiba}\) ranks second on average across all subsets. We conjecture this is because it may enhance the model's logical reasoning ability, thereby benefiting most of the instruct-following tasks. \(\mathtt{COIG-PC}\) demonstrates proficiency in evaluations of the knowledge dimension, such as C-Eval, yet underperforms in Belle-Eval. We attribute this discrepancy to its origin in traditional NLP datasets and the short length of responses, which can impair reasoning tasks and are less favored by model-based evaluators. The substantial gap between C-Eval and Belle-Eval highlights the importance of developing assessments that can comprehensively and accurately evaluate Chinese LLMs. Moreover, WikiHow scores only 5.8, which we believe is due to the lack of diversity in its "how-to" instructions.
수학 과제. 이는 \(\mathtt{Exam}\)에 수학 퀴즈와 시험 유형(예: 독해력)이 더 많이 포함되어 있어 대부분의 과제에서 모델의 성능을 향상시킬 수 있기 때문에 예상되는 결과입니다. 흥미롭게도 \(\mathtt{Ruozhiba}\)는 모든 하위 집합에서 평균적으로 2위를 차지했습니다. 이는 모델의 논리적 추론 능력을 향상시켜 대부분의 Instruction 수행 과제에 도움이 될 수 있기 때문이라고 추측합니다. \(\mathtt{COIG-PC}\)는 C-Eval과 같은 지식 차원의 평가에는 능숙하지만 Belle-Eval에서는 성능이 저조합니다. 이러한 차이는 전통적인 NLP 데이터 세트에서 유래했으며 응답 길이가 짧아 추론 과제를 방해하고 모델 기반 평가자가 선호하지 않는 것에 기인한다고 생각합니다. C-Eval과 Belle-Eval 사이의 상당한 격차는 중국 Large Language Models (LLMs)을 포괄적이고 정확하게 평가할 수 있는 평가 도구를 개발하는 것이 얼마나 중요한지를 강조합니다. 또한 WikiHow의 점수는 5.8점에 불과한데, 이는 '방법' 지침의 다양성이 부족하기 때문이라고 생각합니다.
수학 과제. 이는 \(\mathtt{Exam}\)에 수학 퀴즈와 시험 유형(예: 독해력)이 더 많이 포함되어 있어 대부분의 과제에서 모델의 성능을 향상시킬 수 있기 때문에 예상되는 결과입니다. 흥미롭게도 \(\mathtt{Ruozhiba}\)는 모든 하위 집합에서 평균적으로 2위를 차지했습니다. 이는 모델의 논리적 추론 능력을 향상시켜 대부분의 지시어 수행 과제에 도움이 될 수 있기 때문이라고 추측합니다. \(\mathtt{COIG-PC}\)는 C-Eval과 같은 지식 차원의 평가에는 능숙하지만 Belle-Eval에서는 성능이 저조합니다. 이러한 차이는 전통적인 NLP 데이터 세트에서 유래했으며 응답 길이가 짧아 추론 과제를 방해하고 모델 기반 평가자가 선호하지 않는 것에 기인한다고 생각합니다. C-Eval과 Belle-Eval 사이의 상당한 격차는 중국 LLM을 포괄적이고 정확하게 평가할 수 있는 평가 도구를 개발하는 것이 얼마나 중요한지를 강조합니다. 또한 위키하우의 점수는 5.8점에 불과한데, 이는 '방법' 지침의 다양성이 부족하기 때문이라고 생각합니다.