Some previous work fine-tune a single-turn query retriever on in-domain conversational query and context pairs (Feng et al., 2020; Gao et al., 2022; Adlakha et al., 2022; Wu et al., 2023), so it can directly take a concatenation of dialog history and current query as input. In this work, we focus on the zero-shot evaluation. We fine-tuning a single-turn query retriever on a high-quality multi-turn dataset. Then, we evaluate zero-shot capability of the fine-tuned retriever on five benchmark datasets. Surprisingly, we find this simple approach can obtain comparable zero-shot results as the state-of-the-art query rewriting model, i.e., GPT-3.5-turbo.
일부 이전 작업은 도메인 내 대화형 쿼리 및 컨텍스트 쌍에서 단일 턴 쿼리 검색기를 Fine-tuning하여(Feng et al., 2020; Gao et al., 2022; Adlakha et al., 2022; Wu et al., 2023), 대화 기록과 현재 쿼리의 연결을 직접 입력으로 사용할 수 있습니다. 이 작업에서는 zero-shot 평가에 중점을 둡니다. 고품질 멀티 턴 데이터 세트에 대해 단일 턴 쿼리 검색기를 Fine-tuning합니다. 그런 다음 Fine-tuning된 검색기의 zero-shot 기능을 5개의 벤치마크 데이터 세트에 대해 평가합니다. 놀랍게도 이 간단한 접근 방식으로 최신 쿼리 재작성 모델인 GPT-3.5-turbo와 비슷한 zero-shot 결과를 얻을 수 있음을 발견했습니다.
일부 이전 작업은 도메인 내 대화형 쿼리 및 컨텍스트 쌍에서 단일 턴 쿼리 검색기를 미세 조정하여(Feng et al., 2020; Gao et al., 2022; Adlakha et al., 2022; Wu et al., 2023), 대화 기록과 현재 쿼리의 연결을 직접 입력으로 사용할 수 있습니다. 이 작업에서는 제로 샷 평가에 중점을 둡니다. 고품질 멀티 턴 데이터 세트에 대해 단일 턴 쿼리 검색기를 미세 조정합니다. 그런 다음 미세 조정된 검색기의 제로 샷 기능을 5개의 벤치마크 데이터 세트에 대해 평가합니다. 놀랍게도 이 간단한 접근 방식으로 최신 쿼리 재작성 모델인 GPT-3.5-turbo와 비슷한 제로 샷 결과를 얻을 수 있음을 발견했습니다.