For the HumanAnnotatedConvQA, we directly take the annotations of the conversational query and context pairs, and use them to further fine-tune a single-turn query retriever. For the SyntheticConvQA, we first cut each document in the conversational QA dataset into different chunks. Then, we calculate the 4-gram recall score between agent's answer and each chunk. After that, we consider the chunk that has the highest recall score as the gold chunk for the current user's question. Finally, the constructed conversational query and context pairs are used to fine-tune a single-turn query retriever.
HumanAnnotatedConvQA의 경우, 대화형 쿼리 및 컨텍스트 쌍의 주석을 직접 가져와 단일 턴 쿼리 검색기를 추가로 Fine-tuning하는 데 사용합니다. SyntheticConvQA의 경우, 먼저 대화형 QA 데이터 세트의 각 문서를 여러 덩어리로 잘라냅니다. 그런 다음 상담원의 답변과 각 청크 간의 4그램 회수 점수를 계산합니다. 그런 다음 회수율 점수가 가장 높은 청크를 현재 사용자의 질문에 대한 골드 청크로 간주합니다. 마지막으로, 구성된 대화형 쿼리 및 컨텍스트 쌍을 사용하여 단일 턴 쿼리 검색기를 Fine-tuning합니다.
HumanAnnotatedConvQA의 경우, 대화형 쿼리 및 컨텍스트 쌍의 주석을 직접 가져와 단일 턴 쿼리 검색기를 추가로 미세 조정하는 데 사용합니다. SyntheticConvQA의 경우, 먼저 대화형 QA 데이터 세트의 각 문서를 여러 덩어리로 잘라냅니다. 그런 다음 상담원의 답변과 각 청크 간의 4그램 회수 점수를 계산합니다. 그런 다음 회수율 점수가 가장 높은 청크를 현재 사용자의 질문에 대한 골드 청크로 간주합니다. 마지막으로, 구성된 대화형 쿼리 및 컨텍스트 쌍을 사용하여 단일 턴 쿼리 검색기를 미세 조정합니다.