We find that our ChatQA method greatly improves the model's conversational QA capability. In terms of averaged scores, Llama2-Chat models surpass SFT model counterparts by a small margin, while our ChatQA models achieve around or over 10 point of absolute improvement over SFT and Chat counterparts. For example, ChatQA-13B improves on Llama2-13B-SFT and Llama2-13B-Chat by 13.17 (from 37.69 to 50.86) and 10.52 (from 40.34 to 50.86), respectively. This is because context-enhanced instruction fine-tuning enables the model to learn how to effectively extract useful information from retrieved or relevant context.
ChatQA 방법이 모델의 대화형 QA 기능을 크게 향상시키는 것을 알 수 있습니다. 평균 점수 측면에서 Llama2-Chat 모델은 SFT 모델보다 약간 앞서고, ChatQA 모델은 SFT 및 Chat 모델보다 절대적으로 10점 이상 향상된 점수를 기록했습니다. 예를 들어, ChatQA-13B는 Llama2-13B-SFT 및 Llama2-13B-Chat를 각각 13.17(37.69에서 50.86으로) 및 10.52(40.34에서 50.86으로) 개선했습니다. 이는 context-enhanced Instruction Fine-tuning을 통해 모델이 검색된 또는 관련 컨텍스트에서 유용한 정보를 효과적으로 추출하는 방법을 학습할 수 있기 때문입니다.
ChatQA 방법이 모델의 대화형 QA 기능을 크게 향상시키는 것을 알 수 있습니다. 평균 점수 측면에서 Llama2-Chat 모델은 SFT 모델보다 약간 앞서고, ChatQA 모델은 SFT 및 Chat 모델보다 절대적으로 10점 이상 향상된 점수를 기록했습니다. 예를 들어, ChatQA-13B는 Llama2-13B-SFT 및 Llama2-13B-Chat를 각각 13.17(37.69에서 50.86으로) 및 10.52(40.34에서 50.86으로) 개선했습니다. 이는 컨텍스트 강화 명령어 미세 조정을 통해 모델이 검색된 또는 관련 컨텍스트에서 유용한 정보를 효과적으로 추출하는 방법을 학습할 수 있기 때문입니다.