To assess the quality of their retrievals, we first take 24 unresolved forecasting questions. Next, we prompt GPT-4-1106-Preview to generate two search queries for each of these 24 questions, similar to the first stage of our retrieval system (Section 4). We use these queries to search for articles via all 5 APIs, restricting the retrieval range to the last 24 hours.
이들의 검색 결과의 품질을 평가하기 위해, 먼저 해결되지 않은 예측 질문 24개를 선택합니다. 다음으로, GPT-4-1106-Preview를 사용하여 이 24개의 질문 각각에 대해 두 개의 검색 쿼리를 생성하도록 합니다. 이는 우리의 검색 시스템의 첫 번째 단계와 유사합니다(섹션 4). 이러한 쿼리를 사용하여 모든 5개의 API를 통해 기사를 검색하며, 검색 범위는 지난 24시간으로 제한합니다.
검색의 품질을 평가하기 위해 먼저 해결되지 않은 24개의 예측 질문을 수집합니다. 그런 다음, 우리는 검색 시스템의 첫 번째 단계(섹션 4)와 유사하게 이 24개의 질문 각각에 대해 두 개의 검색 쿼리를 생성하도록 GPT-4-1106-Preview에 프롬프트합니다. 이러한 쿼리를 사용하여 지난 24시간 범위를 제한하여 5개의 API를 모두 통해 기사를 검색합니다.