In this work, we introduce ChatQA, a family of conversational question answering (QA) models, that obtain GPT-4 level accuracies. Specifically, we propose a two-stage instruction tuning method that can significantly improve the zero-shot conversational QA results from large language models (LLMs). To handle retrieval in conversational QA, we fine-tune a dense retriever on a multi-turn QA dataset, which provides comparable results to using the state-of-the-art query rewriting model while largely reducing deployment cost. Notably, our ChatQA-70B can outperform GPT-4 in terms of average score on 10 conversational QA datasets (54.14 vs. 53.90), without relying on any synthetic data from OpenAI GPT models.
이 연구에서는 GPT-4 수준의 정확도를 얻을 수 있는 대화형 질문 답변(QA) 모델 제품군인 ChatQA를 소개합니다. 특히, 우리는 대규모 언어 모델(LLMs)의 zero-shot 대화형 QA 결과를 크게 개선할 수 있는 2단계 Instruction Tuning 방법을 제안합니다. 대화형 QA에서 retrieval을 처리하기 위해 다중 턴 QA 데이터 세트에서 고밀도 검색기를 Fine-tuning하여 배포 비용을 크게 줄이면서 최신 쿼리 재작성 모델을 사용하는 것과 비슷한 결과를 제공합니다. 특히, ChatQA-70B는 OpenAI GPT 모델의 합성 데이터에 의존하지 않고도 10개의 대화형 QA 데이터 세트의 평균 점수 측면에서 GPT-4를 능가할 수 있습니다(54.14 대 53.90).
이 연구에서는 GPT-4 수준의 정확도를 얻을 수 있는 대화형 질문 답변(QA) 모델 제품군인 ChatQA를 소개합니다. 특히, 우리는 대규모 언어 모델(LLM)의 0-샷 대화형 QA 결과를 크게 개선할 수 있는 2단계 명령어 튜닝 방법을 제안합니다. 대화형 QA에서 검색을 처리하기 위해 다중 턴 QA 데이터 세트에서 고밀도 검색기를 미세 조정하여 배포 비용을 크게 줄이면서 최신 쿼리 재작성 모델을 사용하는 것과 비슷한 결과를 제공합니다. 특히, ChatQA-70B는 OpenAI GPT 모델의 합성 데이터에 의존하지 않고도 10개의 대화형 QA 데이터 세트의 평균 점수 측면에서 GPT-4를 능가할 수 있습니다(54.14 대 53.90).