Our initial retrieval provides wide coverage at the cost of obtaining some irrelevant articles. To ensure that they do not mislead the model at the reasoning step, we prompt GPT-3.5-Turbo to rate the relevancy of all articles (Figure 14) and filter out low-scoring ones. Since the procedure is costly in run-time and budget, we only present the article's title and first 250 words to the model in context. We validate that this approach achieves high recall and precision while saving 70% cost (see Section E.3 for alternative methods and results).
초기 retrieval은 일부 관련 없는 기사를 얻는 대가로 광범위한 커버리지를 제공합니다. 추론 단계에서 모델을 오도하지 않도록 모든 기사의 관련성을 평가하고 점수가 낮은 기사를 걸러내도록 GPT-3.5-Turbo에 prompt합니다(그림 14). 이 절차는 런타임 및 예산 측면에서 비용이 많이 들기 때문에 모델에 기사의 제목과 처음 250단어만 문맥에 따라 제시합니다. 이 접근 방식이 70%의 비용을 절감하면서 높은 recall과 precision을 달성하는지 확인합니다(대체 방법 및 결과는 섹션 E.3 참조).
초기 검색은 일부 관련 없는 기사를 얻는 대가로 광범위한 커버리지를 제공합니다. 추론 단계에서 모델을 오도하지 않도록 모든 기사의 관련성을 평가하고 점수가 낮은 기사를 걸러내도록 GPT-3.5-Turbo에 프롬프트합니다(그림 14). 이 절차는 런타임 및 예산 측면에서 비용이 많이 들기 때문에 모델에 기사의 제목과 처음 250단어만 문맥에 따라 제시합니다. 이 접근 방식이 70%의 비용을 절감하면서 높은 회수율과 정밀도를 달성하는지 확인합니다(대체 방법 및 결과는 섹션 E.3 참조).