For search query generation, we evaluate the prompts by retrieving articles with the generated queries and examining two metrics: (1) the average relevance score across all retrieved articles, and (2) the average relevance score of articles exceeding a relevance threshold of 4 on a 6-point scale. The 2 high-scoring prompts perform similarly under both metrics and generate queries with little overlap. As a result, we use both prompts (Figure 12) to generate queries and take the union.
검색 쿼리 생성을 위해 생성된 쿼리로 문서를 검색하고 두 가지 metric을 검토하여 prompt를 평가합니다: (1) 검색된 모든 문서의 평균 관련성 점수, (2) 6점 척도에서 관련성 임계값 4를 초과하는 문서의 평균 관련성 점수입니다. 점수가 높은 두 개의 prompt는 두 metric 모두에서 비슷한 성능을 보이며 겹치는 부분이 거의 없는 쿼리를 생성합니다. 따라서 두 prompt(그림 12)를 모두 사용하여 쿼리를 생성하고 그 합을 취합니다.
검색 쿼리 생성을 위해 생성된 쿼리로 문서를 검색하고 두 가지 메트릭을 검토하여 프롬프트를 평가합니다: (1) 검색된 모든 문서의 평균 관련성 점수, (2) 6점 척도에서 관련성 임계값 4를 초과하는 문서의 평균 관련성 점수입니다. 점수가 높은 두 개의 프롬프트는 두 메트릭 모두에서 비슷한 성능을 보이며 겹치는 부분이 거의 없는 쿼리를 생성합니다. 따라서 두 프롬프트(그림 12)를 모두 사용하여 쿼리를 생성하고 그 합을 취합니다.