Beyond these standard metrics, the evaluation may also incorporate task-specific criteria and novel metrics tailored to particular applications. For instance, in dialogue generation, perplexity and entropy are used to evaluate response diversity and naturalness. Additionally, metrics such as Misleading Rate and Mistake Reappearance Rate (Liu et al., 2023) gauge a model's ability to avoid misinformation and inaccuracies. Other specialized metrics include Answer Relevance (Shahul et al., 2023), assessing the precision of responses to queries; Kendall's tau (Saad-Falcon et al., 2023), for evaluating the accuracy of RAG system rankings; Micro-F1 (Saad-Falcon et al., 2023), which fine-tunes accuracy evaluation in tasks with multiple correct answers; and Prediction Accuracy, directly measuring the alignment of generated answers with expected responses, thereby offering a direct insight into a system's effectiveness in generating accurate content.
이러한 표준 지표 외에도 특정 애플리케이션에 맞는 작업별 기준과 새로운 지표를 통합할 수도 있습니다. 예를 들어, 대화 생성에서는 Perplexity와 엔트로피를 사용하여 응답의 다양성과 자연스러움을 평가합니다. 또한 Misleading Rate 및 Mistake Reappearance Rate (Liu et al., 2023)과 같은 지표는 모델이 잘못된 정보와 부정확성을 피하는 능력을 측정합니다. 다른 특수 지표로는 질의에 대한 응답의 정확도를 평가하는 Answer Relevance (Shahul et al., 2023), RAG 시스템 순위의 정확도를 평가하기 위한 Kendall's tau (Saad-Falcon et al., 2023), 여러 개의 정답이 있는 작업에서 정확도 평가를 미세 조정하는 Micro-F1 (Saad-Falcon et al., 2023), 생성된 답변과 예상 답변의 일치도를 직접 측정하여 시스템의 정확한 콘텐츠 생성 효과를 직접적으로 파악할 수 있는 Prediction Accuracy 등이 있습니다.
이러한 표준 지표 외에도 특정 애플리케이션에 맞는 작업별 기준과 새로운 지표를 통합할 수도 있습니다. 예를 들어, 대화 생성에서는 당혹감과 엔트로피를 사용하여 응답의 다양성과 자연스러움을 평가합니다. 또한 오도율 및 오류 재발률(Liu et al., 2023)과 같은 지표는 모델이 잘못된 정보와 부정확성을 피하는 능력을 측정합니다. 다른 특수 지표로는 질의에 대한 응답의 정확도를 평가하는 답변 관련성(Shahul et al., 2023), RAG 시스템 순위의 정확도를 평가하기 위한 켄달의 타우(Saad-Falcon et al., 2023), 여러 개의 정답이 있는 작업에서 정확도 평가를 미세 조정하는 마이크로 F1(Saad-Falcon et al., 2023), 생성된 답변과 예상 답변의 일치도를 직접 측정하여 시스템의 정확한 콘텐츠 생성 효과를 직접적으로 파악할 수 있는 예측 정확도 등이 있습니다.