In this section, we propose a two-stage instruction tuning method for ChatQA. See Figure 1 for an illustration. Our method starts with an pretrained LLM foundation model. At stage-1, we apply supervised fine-tuning (SFT) as in Ouyang et al. (2022) on a blend of instruction-following and dialog datasets. After that, our model exhibits good capability to follow instructions as a conversational agent. However, its capability for contextualized or RAG-based QA remains limited. Hence, we introduce a subsequent stage, called context-enhanced instruction tuning, which is designed specifically for enhancing our model's capability for context-aware or retrieval-augmented generation in conversational QA.
이 섹션에서는 ChatQA에 대한 2단계 Instruction Tuning 방법을 제안합니다. 그림 1을 참조하세요. 이 방법은 사전 학습된 LLM 기반 모델에서 시작합니다. 1단계에서는 Ouyang 등(2022)에서와 같이 Instruction-following 및 대화 데이터 세트를 혼합하여 Supervised Fine-tuning (SFT)을 적용합니다. 그 후, 우리 모델은 대화형 에이전트로서 Instruction을 따르는 뛰어난 기능을 보여줍니다. 그러나 상황에 맞는 또는 Retrieval-augmented generation (RAG) 기반 QA에 대한 기능은 여전히 제한적입니다. 따라서 대화형 QA에서 상황 인식 또는 Retrieval-augmented generation에 대한 모델의 기능을 향상시키기 위해 고안된 context-enhanced Instruction Tuning이라는 후속 단계를 도입합니다.
이 섹션에서는 ChatQA에 대한 2단계 명령어 튜닝 방법을 제안합니다. 그림 1을 참조하세요. 이 방법은 사전 학습된 LLM 기반 모델에서 시작합니다. 1단계에서는 Ouyang 등(2022)에서와 같이 지시어 팔로잉 및 대화 데이터 세트를 혼합하여 지도 미세 조정(SFT)을 적용합니다. 그 후, 우리 모델은 대화형 에이전트로서 지시를 따르는 뛰어난 기능을 보여줍니다. 그러나 상황에 맞는 또는 RAG 기반 QA에 대한 기능은 여전히 제한적입니다. 따라서 대화형 QA에서 상황 인식 또는 검색 증강 생성에 대한 모델의 기능을 향상시키기 위해 고안된 컨텍스트 향상 명령어 튜닝이라는 후속 단계를 도입합니다.