For LLM-Eval, we followed the practice of Zhang et al.2023a, evaluating the response quality of a model through 5 scoring items: accuracy, fluency, informativeness, logicality, and harmlessness. Scores for each aspect range from 0 to 3. We use the prompt shown in Appendix to submit the instruction, model response, and reference answer to GPT-4 for automated evaluation. Based on the results reported by Zhang et al.2023a, this evaluation method demonstrates a high degree of consistency with human evaluation.
LLM-Eval의 경우, Zhang et al.2023a의 방법을 따르고 정확성, 유창성, 유익성, 논리성, 무해성의 5가지 채점 항목을 통해 모델의 응답 품질을 평가했습니다. 각 측면의 점수는 0에서 3까지입니다. 부록에 표시된 prompt를 사용하여 instruction, 모델 응답 및 참조 답안을 GPT-4에 제출하여 자동 평가를 수행합니다. Zhang et al.2023a에서 보고한 결과에 따르면, 이 평가 방법은 사람의 평가와 높은 수준의 일관성을 보여줍니다.
LLM-Eval의 경우, Zhang et al.2023a의 방법을 따르고 정확성, 유창성, 유익성, 논리성, 무해성의 5가지 채점 항목을 통해 모델의 응답 품질을 평가했습니다. 각 측면의 점수는 0에서 3까지입니다. 부록에 표시된 프롬프트를 사용하여 지침, 모델 응답 및 참조 답안을 GPT-4에 제출하여 자동 평가를 수행합니다. Zhang et al.2023a에서 보고한 결과에 따르면, 이 평가 방법은 사람의 평가와 높은 수준의 일관성을 보여줍니다.