In addition to automatic evaluation, we also evaluate Yi-6B fine-tuned on CQIA-subset by comparing it to state-of-the-art Chinese open-source chat models in similar parameter scale. As we focus on questions posed by real-world Chinese-speaking users. We sample 200 questions from OL-CC5 and Zhihu which are not present in the training set for human evaluation. We conduct pair-wise comparison, aiming to demonstrate how our model performs in comparison to others when facing real-world human prompt.
또한 자동 평가 외에도 유사한 파라미터 규모의 최신 중국 오픈 소스 채팅 모델과 비교하여 CQIA-subset에 대해 Fine-tuning된 Yi-6B를 평가합니다. 실제 중국어 사용자가 던지는 질문에 초점을 맞추기 때문입니다. 우리는 인간 평가를 위해 훈련 세트에 없는 OL-CC5와 Zhihu에서 200개의 질문을 샘플링합니다. 우리는 실제 인간의 프롬프트에 직면했을 때 우리 모델이 다른 모델과 비교하여 어떻게 수행되는지 보여주기 위해 쌍별 비교를 수행합니다.
또한 자동 평가 외에도 유사한 파라미터 규모의 최신 중국 오픈 소스 채팅 모델과 비교하여 CQIA-subset에 대해 미세 조정된 Yi-6B를 평가합니다. 실제 중국어 사용자가 던지는 질문에 초점을 맞추기 때문입니다. 트위터는 인간 평가를 위해 훈련 세트에 없는 OL-CC5와 Zhihu에서 200개의 질문을 샘플링합니다. 우리는 실제 인간의 프롬프트에 직면했을 때 우리 모델이 다른 모델과 비교하여 어떻게 수행되는지 보여주기 위해 쌍별 비교를 수행합니다.