However, whether it is a public evaluation set or a self-built evaluation set, the evaluation results are strongly influenced by the assessment criteria and the design of the prompt. Our internal evaluation results may be unfair to other models, making it difficult to accurately represent the true capability level of our model. Therefore, here we only present external evaluation results to demonstrate the current conversational abilities of our chat model. We consider: (1). AlapcaEval1[44], which is designed to assess the English conversation capabilities of models by comparing the responses of a specified model to reference replies from Davinci003 [21] in order to calculate a win-rate; (2). LMSys2[93] Chatbot Arena, which showcases the responses of different models through a dialogue platform, then asks users to make selections based on their preferences, then computes the Elo score;(3). SuperClue3, on the other hand, is a leaderboard aimed at comprehensively evaluating the Chinese language capabilities of models.
그러나 공공 평가 세트이든 자체 구축한 평가 세트이든 평가 결과는 평가 기준과 프롬프트의 설계에 크게 영향을 받습니다. 우리의 내부 평가 결과는 다른 모델에 대해 불공정할 수 있으며, 우리 모델의 실제 능력 수준을 정확하게 나타내기 어렵게 만듭니다. 따라서 여기서는 현재 우리 채팅 모델의 대화 능력을 입증하기 위해 외부 평가 결과만을 제시합니다. 우리는 다음을 고려합니다: (1) AlapcaEval1[44], 이는 지정된 모델의 응답을 Davinci003 [21]의 참조 응답과 비교하여 승률을 계산함으로써 모델의 영어 대화 능력을 평가하도록 설계되었습니다; (2) LMSys2[93] Chatbot Arena, 이는 대화 플랫폼을 통해 다양한 모델의 응답을 보여주고, 사용자가 선호도에 따라 선택하도록 한 다음 Elo 점수를 계산합니다; (3) SuperClue3, 이는 모델의 중국어 능력을 종합적으로 평가하기 위한 리더보드입니다.
그러나 공개 평가 세트든 자체 구축 평가 세트든 평가 결과는 평가 기준과 프롬프트 디자인의 영향을 많이 받습니다. 내부 평가 결과는 다른 모델에 불공정할 수 있으며, 모델의 실제 역량 수준을 정확하게 나타내기 어렵습니다. 따라서 여기서는 챗 모델의 현재 대화 능력을 보여주기 위해 외부 평가 결과만 제시합니다. 고려 사항: (1). AlapcaEval1[44]은 특정 모델의 응답을 Davinci003 [21]의 참조 답변과 비교하여 모델의 영어 대화 능력을 평가하여 승률을 계산하는 방식으로 설계되었습니다; (2). LMSys2[93] 챗봇 아레나는 대화 플랫폼을 통해 다양한 모델의 응답을 보여준 다음 사용자에게 선호도에 따라 선택하도록 요청한 다음 Elo 점수를 계산합니다;(3). 반면 SuperClue3는 모델의 중국어 능력을 종합적으로 평가하는 리더보드입니다.