Retrieval-based Metrics in RAG focus on the effectiveness of retrieving relevant information to support generation tasks. These include Accuracy, which measures the precision of retrieved documents in providing correct information for answering queries, and Rejection Rate (Chen et al., 2023b), assessing a system's ability to decline answering when no relevant information is found. Additionally, Error Detection Rate (Chen et al., 2023b) evaluates the model's capability to identify and disregard incorrect or misleading information from retrieved documents. Context Relevance is another essential metric, assessing the pertinence of the retrieved documents to the query. It's vital to ensure the information used to generate responses is directly related to the query's context. Faithfulness (Shahul et al., 2023) measures the accuracy with which the generated content reflects the information in the retrieved documents, ensuring that the generation process with no misinformation.
RAG의 Retrieval-based Metrics는 생성 작업을 지원하기 위해 관련 정보를 검색하는 효율성에 중점을 둡니다. 여기에는 질의에 대한 정답을 제공하는 데 있어 검색된 문서의 정확도를 측정하는 Accuracy와 관련 정보를 찾을 수 없는 경우 답변을 거부하는 시스템의 능력을 평가하는 Rejection Rate (Chen et al., 2023b)이 포함됩니다. 또한 Error Detection Rate (Chen et al., 2023b)은 검색된 문서에서 잘못된 정보를 식별하고 무시하는 모델의 기능을 평가합니다. Context Relevance는 검색된 문서가 쿼리와 관련이 있는지 평가하는 또 다른 필수 metric입니다. 응답을 생성하는 데 사용되는 정보가 쿼리의 context와 직접적으로 관련되어 있는지 확인하는 것이 중요합니다. Faithfulness (Shahul et al., 2023)은 생성된 콘텐츠가 검색된 문서의 정보를 얼마나 정확하게 반영하는지를 측정하여 생성 과정에 잘못된 정보가 없는지 확인합니다.
RAG의 검색 기반 메트릭은 생성 작업을 지원하기 위해 관련 정보를 검색하는 효율성에 중점을 둡니다. 여기에는 질의에 대한 정답을 제공하는 데 있어 검색된 문서의 정확도를 측정하는 정확도와 관련 정보를 찾을 수 없는 경우 답변을 거부하는 시스템의 능력을 평가하는 거부율(Chen et al., 2023b)이 포함됩니다. 또한 오류 감지율(Chen et al., 2023b)은 검색된 문서에서 잘못된 정보를 식별하고 무시하는 모델의 기능을 평가합니다. 컨텍스트 관련성은 검색된 문서가 쿼리와 관련이 있는지 평가하는 또 다른 필수 메트릭입니다. 응답을 생성하는 데 사용되는 정보가 쿼리의 컨텍스트와 직접적으로 관련되어 있는지 확인하는 것이 중요합니다. 신실성(Shahul et al., 2023)은 생성된 콘텐츠가 검색된 문서의 정보를 얼마나 정확하게 반영하는지를 측정하여 생성 과정에 잘못된 정보가 없는지 확인합니다.