In this paper, we build a family of ChatQA models, varying in model sizes from 7B to 70B. Comprehensive evaluations on 10 conversational QA datasets show that our best ChatQA-70B model can remarkably outperforms GPT-3.5-turbo and perform on par with GPT-4 without using any synthetic data from ChatGPT models. In addition, we demonstrate that fine-tuning a single-turn query retriever using our curated conversational QA data performs comparable to the state-of-the-art LLM-based query rewriting model, without the need of extra computational time and potential API cost from rewriting. Furthermore, we show that incorporating a small amount of "unanswerable" samples can significantly enhance our model's capability to handle scenarios where answers are unavailable. The unanswerable case evaluation highlights that our best model ChatQA-70B only has a slight gap compared to GPT-4.
이 백서에서는 모델 크기가 7B에서 70B까지 다양한 ChatQA 모델 제품군을 구축합니다. 10개의 대화형 QA 데이터 세트에 대한 종합적인 평가 결과, 최고의 ChatQA-70B 모델이 GPT-3.5-turbo를 현저히 능가하고 ChatGPT 모델의 합성 데이터를 사용하지 않고도 GPT-4와 동등한 성능을 발휘할 수 있음을 보여주었습니다. 또한, 큐레이션된 대화형 QA 데이터를 사용하여 단일 턴 쿼리 검색기를 Fine-tuning하면 추가 계산 시간과 재작성으로 인한 잠재적인 API 비용 없이도 최신 LLM 기반 쿼리 재작성 모델과 비슷한 성능을 발휘한다는 것을 입증했습니다. 또한, 소량의 '답변 불가' 샘플을 통합하면 답변을 사용할 수 없는 시나리오를 처리하는 모델의 기능을 크게 향상시킬 수 있음을 보여주었습니다. 답변 불가능한 경우 평가를 통해 최고 모델인 ChatQA-70B가 GPT-4와 비교했을 때 약간의 차이만 있음을 강조합니다.
이 백서에서는 모델 크기가 7B에서 70B까지 다양한 ChatQA 모델 제품군을 구축합니다. 10개의 대화형 QA 데이터 세트에 대한 종합적인 평가 결과, 최고의 ChatQA-70B 모델이 GPT-3.5-turbo를 현저히 능가하고 ChatGPT 모델의 합성 데이터를 사용하지 않고도 GPT-4와 동등한 성능을 발휘할 수 있음을 보여주었습니다. 또한, 큐레이션된 대화형 QA 데이터를 사용하여 단일 턴 쿼리 검색기를 미세 조정하면 추가 계산 시간과 재작성으로 인한 잠재적인 API 비용 없이도 최신 LLM 기반 쿼리 재작성 모델과 비슷한 성능을 발휘한다는 것을 입증했습니다. 또한, 소량의 '답변 불가' 샘플을 통합하면 답변을 사용할 수 없는 시나리오를 처리하는 모델의 기능을 크게 향상시킬 수 있음을 보여주었습니다. 답변 불가능한 경우 평가를 통해 최고 모델인 ChatQA-70B가 GPT-4와 비교했을 때 약간의 차이만 있음을 강조합니다.