In this section, we report the automatic and human preference evaluation of the Chat Model. We use greedy decoding to generate responses. For the automatic evaluation benchmarks, we extract answers from the model's generated outputs and calculate accuracy. During the evaluation process, we observed that different prompts have varying influence on results. Therefore, for the same set of questions, we use identical prompts to evaluate all models, aiming to ensure as fair and unbiased results as possible.
이 섹션에서는 채팅 모델의 자동 및 인간 선호도 평가를 보고합니다. greedy decoding을 사용하여 응답을 생성합니다. 자동 평가 벤치마크의 경우 모델에서 생성된 출력에서 답변을 추출하고 정확도를 계산합니다. 평가 과정에서 서로 다른 prompts가 결과에 다양한 영향을 미치는 것을 관찰했습니다. 따라서 동일한 질문 세트에 대해 가능한 한 공정하고 편향되지 않은 결과를 보장하기 위해 모든 모델을 평가할 때 동일한 prompts를 사용합니다.
이 섹션에서는 채팅 모델의 자동 및 인간 선호도 평가를 보고합니다. 탐욕스러운 디코딩을 사용하여 응답을 생성합니다. 자동 평가 벤치마크의 경우 모델에서 생성된 출력에서 답변을 추출하고 정확도를 계산합니다. 평가 과정에서 서로 다른 프롬프트가 결과에 다양한 영향을 미치는 것을 관찰했습니다. 따라서 동일한 질문 세트에 대해 가능한 한 공정하고 편향되지 않은 결과를 보장하기 위해 모든 모델을 평가할 때 동일한 프롬프트를 사용합니다.