In Table 1, we compare the quer rewriting and fine-tuning methods across five datasets in the zero-shot setting. More details about these datasets can be found in SS5.2.1. We conduct experiments on a state-of-the-art retriever, Dragon (Lin et al., 2023), and a strong unsupervised retriever, E5-unsupervised (Wang et al., 2022), which is not finetuned on MS MACRO (Nguyen et al., 2016). In terms of the experiments on Dragon, we find that fine-tuning performs marginally worse than query rewriting in average top-1 recall by 1.74%, while it achieves better results on average top-5 recall by 0.54%. It demonstrates the effectiveness of the fine-tuning approach for the conversational retrieval. In addition, we observe that the results are comparable between using HumanAnnotatedConvQA and SyntheticConvQA for fine-tuning. This highlights that our human-annotated dataset is in high-quality, and we _do not rely on_ ChatGPT models for building the state-of-the-art multi-turn query retriever.
표 1에서는 zero-shot 설정에서 5개의 데이터 세트에 걸쳐 query rewriting 및 Fine-tuning 방법을 비교합니다. 이러한 데이터 세트에 대한 자세한 내용은 SS5.2.1에서 확인할 수 있습니다. 최신 retriever인 Dragon(Lin et al., 2023)과 MS MACRO(Nguyen et al., 2016)에 Fine-tuning되지 않은 강력한 비지도 retriever인 E5-unsupervised(Wang et al., 2022)에 대한 실험을 수행합니다. Dragon에 대한 실험의 경우, Fine-tuning은 평균 최상위 1회 호출에서 query rewriting보다 1.74% 더 나쁜 성능을 보이는 반면, 평균 최상위 5회 호출에서는 0.54% 더 나은 결과를 얻는다는 것을 알 수 있습니다. 이는 대화형 검색에 대한 Fine-tuning 접근 방식의 효과를 보여줍니다. 또한, Fine-tuning을 위해 HumanAnnotatedConvQA와 SyntheticConvQA를 사용하는 경우 결과가 비슷하다는 것을 관찰할 수 있습니다. 이는 우리의 인간 주석 데이터 세트가 고품질이며, 최첨단 멀티 턴 query retriever를 구축하는 데 ChatGPT 모델에 의존하지 않는다는 것을 강조합니다.
표 1에서는 제로 샷 설정에서 5개의 데이터 세트에 걸쳐 쿼리 재작성 및 미세 조정 방법을 비교합니다. 이러한 데이터 세트에 대한 자세한 내용은 SS5.2.1에서 확인할 수 있습니다. 최신 리트리버인 Dragon(Lin et al., 2023)과 MS MACRO(Nguyen et al., 2016)에 미세 조정되지 않은 강력한 비지도 리트리버인 E5-unsupervised(Wang et al., 2022)에 대한 실험을 수행합니다. Dragon에 대한 실험의 경우, 미세 조정은 평균 최상위 1회 호출에서 쿼리 재작성보다 1.74% 더 나쁜 성능을 보이는 반면, 평균 최상위 5회 호출에서는 0.54% 더 나은 결과를 얻는다는 것을 알 수 있습니다. 이는 대화형 검색에 대한 미세 조정 접근 방식의 효과를 보여줍니다. 또한, 미세 조정을 위해 HumanAnnotatedConvQA와 SyntheticConvQA를 사용하는 경우 결과가 비슷하다는 것을 관찰할 수 있습니다. 이는 우리의 인간 주석 데이터 세트가 고품질이며, 최첨단 멀티 턴 쿼리 리트리버를 구축하는 데 ChatGPT 모델에 의존하지 않는다는 것을 강조합니다.