In conversational QA tasks, when a document becomes too lengthy to feed directly into LLMs, a retriever that can handle conversational query becomes essential. This conversational retriever encodes the concatenation of dialogue history and current query, and then retrieve relevant context from documents. After that, only relevant context will be used as inputs for LLMs. The state-of-the-art retrievers, e.g., Dragon (Lin et al., 2023), are optimized for single-turn queries, resulting in a limited generalization capability for multi-turn conversational queries. In Figure 2, we depict our retriever fine-tuning method to alleviate this issue. We propose to use conversational query and context pairs for further fine-tuning a single-turn retriever to better cope with conversational inputs.
대화형 QA 작업에서 문서가 너무 길어져 LLM에 직접 입력할 수 없을 때는 대화형 쿼리를 처리할 수 있는 retriever가 필수적입니다. 이러한 대화형 retriever는 대화 기록과 현재 쿼리의 연결을 인코딩한 다음 문서에서 관련 문맥을 검색합니다. 그런 다음 관련 컨텍스트만 LLM의 입력으로 사용됩니다. 최신 retriever(예: Dragon(Lin et al., 2023))는 단일 턴 쿼리에 최적화되어 있어 다중 턴 대화형 쿼리에 대한 일반화 기능이 제한적입니다. 그림 2에서는 이 문제를 완화하기 위한 retriever Fine-tuning 방법을 설명합니다. 우리는 대화형 입력에 더 잘 대처하기 위해 단일 턴 retriever를 추가로 Fine-tuning하기 위해 대화형 쿼리와 컨텍스트 쌍을 사용할 것을 제안합니다.
대화형 QA 작업에서 문서가 너무 길어져 LLM에 직접 입력할 수 없을 때는 대화형 쿼리를 처리할 수 있는 검색기가 필수적입니다. 이러한 대화형 검색기는 대화 기록과 현재 쿼리의 연결을 인코딩한 다음 문서에서 관련 문맥을 검색합니다. 그런 다음 관련 컨텍스트만 LLM의 입력으로 사용됩니다. 최신 검색기(예: Dragon(Lin et al., 2023))는 단일 턴 쿼리에 최적화되어 있어 다중 턴 대화형 쿼리에 대한 일반화 기능이 제한적입니다. 그림 2에서는 이 문제를 완화하기 위한 검색기 미세 조정 방법을 설명합니다. 우리는 대화형 입력에 더 잘 대처하기 위해 단일 턴 검색기를 추가로 미세 조정하기 위해 대화형 쿼리와 컨텍스트 쌍을 사용할 것을 제안합니다.