To investigate how single-turn QA datasets affect model's multi-turn QA capability, we conduct ablation study by removing them from the ChatQA-70B training blends in stage-2. As shown in Table 2, incorporating single-turn QA datasets in the stage-2 training blends (ChatQA-70B) generally make the scores increase across all benchmark datasets, which leads to an average improvement of 1.83 score. Interestingly, we observe improvement in ConvFinQA, SQA, and HybridDial (table-based datasets), despite the added single-turn QA datasets do no have tabular data in the documents. These results align with our intuitions. Adding single-turn datasets improves the model's capability to extract answers from context, resulting in better scores in conversational QA datasets.
단일 턴 QA 데이터 세트가 모델의 다중 턴 QA 기능에 어떤 영향을 미치는지 조사하기 위해 2단계의 ChatQA-70B training blends에서 이를 제거하여 절제 연구를 수행합니다. 표 2와 같이, 2단계 training blends(ChatQA-70B)에 단일 턴 QA 데이터 세트를 통합하면 일반적으로 모든 벤치마크 데이터 세트에서 점수가 상승하여 평균 1.83점의 점수 향상으로 이어집니다. 흥미롭게도 단일 턴 QA 데이터 세트에 문서에 표 형식의 데이터가 없음에도 불구하고 ConvFinQA, SQA 및 HybridDial(테이블 기반 데이터 세트)에서 개선이 관찰되었습니다. 이러한 결과는 우리의 직관과 일치합니다. 단일 턴 데이터 세트를 추가하면 모델이 문맥에서 답을 추출하는 기능이 향상되어 대화형 QA 데이터 세트에서 더 나은 점수를 얻을 수 있습니다.
단일 턴 QA 데이터 세트가 모델의 다중 턴 QA 기능에 어떤 영향을 미치는지 조사하기 위해 2단계의 ChatQA-70B 트레이닝 블렌드에서 이를 제거하여 절제 연구를 수행합니다. 표 2와 같이, 2단계 트레이닝 블렌드(ChatQA-70B)에 단일 턴 QA 데이터 세트를 통합하면 일반적으로 모든 벤치마크 데이터 세트에서 점수가 상승하여 평균 1.83점의 점수 향상으로 이어집니다. 흥미롭게도 단일 턴 QA 데이터 세트에 문서에 표 형식의 데이터가 없음에도 불구하고 ConvFinQA, SQA 및 HybridDial(테이블 기반 데이터 세트)에서 개선이 관찰되었습니다. 이러한 결과는 우리의 직관과 일치합니다. 단일 턴 데이터 세트를 추가하면 모델이 문맥에서 답을 추출하는 기능이 향상되어 대화형 QA 데이터 세트에서 더 나은 점수를 얻을 수 있습니다.