1. We propose a two-stage instruction tuning method and a dataset curation recipe that can largely enhance LLM's capability of integrating user provided or retrieved context for zero-shot conversational QA tasks. We demonstrate that our method significantly outperforms regular instruction tuning or RLHF-based recipes (e.g., Llama-2-Chat). 2. For RAG in conversational QA, we show that fine-tuning state-of-the-art single-turn query retrievers on human-annotated multi-turn QA dataset works as well as utilizing the state-of-the-art LLM-based query rewriting model, i.e., GPT-3.5-turbo (OpenAI, 2022). 3. We build a family of ChatQA models based on Llama2-7B, Llama2-13B, Llama2-70B (Touvron et al., 2023) and a in-house 8B pretrained GPT. We conduct comprehensive study on 10 conversational QA datasets, including 5 datasets with long documents that need retrieval and 3 datasets with tables. In terms of average score, our ChatQA-70B model (54.14) can outperform GPT-3.5-turbo (50.37) and GPT-4 (53.90) without utilizing any synthetic data from ChatGPT models. 4. We study the "unanswerable" scenario, where the desired answer is not included in the provided or retrieved context, thus the LLM can easily hallucinate. We demonstrate that adding a small amount of "unanswerable" samples in instruction tuning can steer the model to generate "can not answer" output when it is necessary, thus largely reduce hallucination. Our ChatQA-70B outperforms GPT-3.5-turbo in this regard, while still has a slight gap compared to GPT-4 (around 3.5%).
1. 저희는 zero-shot 대화형 QA 작업을 위해 사용자가 제공하거나 검색한 컨텍스트를 통합하는 LLM의 기능을 크게 향상시킬 수 있는 2단계 Instruction Tuning 방법과 데이터 세트 큐레이션 레시피를 제안합니다. 저희의 방법이 일반적인 Instruction Tuning이나 RLHF 기반 레시피(예: Llama-2-Chat)보다 훨씬 뛰어난 성능을 보여줍니다. 2. 대화형 QA의 RAG의 경우, 인간이 주석을 달은 다중 턴 QA 데이터 세트에서 최신 싱글 턴 쿼리 검색기를 Fine-tuning하는 것이 최신 LLM 기반 쿼리 재작성 모델인 GPT-3.5-turbo(OpenAI, 2022)를 활용하는 것만큼이나 효과적이라는 것을 보여줍니다. 3. Llama2-7B, Llama2-13B, Llama2-70B(Touvron et al., 2023)와 사내 8B 사전 학습된 GPT를 기반으로 ChatQA 모델 제품군을 구축합니다. Retrieval이 필요한 긴 문서가 포함된 5개의 데이터 세트와 테이블이 포함된 3개의 데이터 세트를 포함하여 10개의 대화형 QA 데이터 세트에 대한 포괄적인 연구를 수행했습니다. 평균 점수 기준으로, 저희의 ChatQA-70B 모델(54.14)은 ChatGPT 모델의 합성 데이터를 활용하지 않고도 GPT-3.5-turbo(50.37) 및 GPT-4(53.90)를 능가할 수 있습니다. 4. 제공된 컨텍스트나 검색된 컨텍스트에 원하는 답변이 포함되어 있지 않아 LLM이 쉽게 Hallucination을 일으킬 수 있는 '답변 불가' 시나리오를 연구합니다. Instruction Tuning에 소량의 '답변 불가' 샘플을 추가하면 모델이 필요할 때 '답변 불가' 출력을 생성하도록 유도하여 Hallucination을 크게 줄일 수 있음을 입증했습니다. 이 점에서 ChatQA-70B는 GPT-3.5-turbo를 능가하지만, GPT-4에 비해 약간의 격차(약 3.5%)가 여전히 존재합니다.
1. 저희는 제로 샷 대화형 QA 작업을 위해 사용자가 제공하거나 검색한 컨텍스트를 통합하는 LLM의 기능을 크게 향상시킬 수 있는 2단계 명령 튜닝 방법과 데이터 세트 큐레이션 레시피를 제안합니다. 저희의 방법이 일반적인 지시 튜닝이나 RLHF 기반 레시피(예: Llama-2-Chat)보다 훨씬 뛰어난 성능을 보여줍니다. 2. 대화형 QA의 RAG의 경우, 인간이 주석을 달은 다중 턴 QA 데이터 세트에서 최신 싱글 턴 쿼리 검색기를 미세 조정하는 것이 최신 LLM 기반 쿼리 재작성 모델인 GPT-3.5-turbo(OpenAI, 2022)를 활용하는 것만큼이나 효과적이라는 것을 보여줍니다. 3. Llama2-7B, Llama2-13B, Llama2-70B(Touvron et al., 2023)와 사내 8B 사전 학습된 GPT를 기반으로 ChatQA 모델 제품군을 구축합니다. 검색이 필요한 긴 문서가 포함된 5개의 데이터 세트와 테이블이 포함된 3개의 데이터 세트를 포함하여 10개의 대화형 QA 데이터 세트에 대한 포괄적인 연구를 수행했습니다. 평균 점수 기준으로, 저희의 ChatQA-70B 모델(54.14)은 ChatGPT 모델의 합성 데이터를 활용하지 않고도 GPT-3.5-turbo(50.37) 및 GPT-4(53.90)를 능가할 수 있습니다. 4. 제공된 컨텍스트나 검색된 컨텍스트에 원하는 답변이 포함되어 있지 않아 LLM이 쉽게 홀루싱을 일으킬 수 있는 '답변 불가' 시나리오를 연구합니다. 지시 튜닝에 소량의 '답변 불가' 샘플을 추가하면 모델이 필요할 때 '답변 불가' 출력을 생성하도록 유도하여 홀루싱을 크게 줄일 수 있음을 입증했습니다. 이 점에서 ChatQA-70B는 GPT-3.5-turbo를 능가하지만, GPT-4에 비해 약간의 격차(약 3.5%)가 여전히 존재합니다.