In this part, we introduce the details of training blends for stage-2 instruction tuning. To boost the QA capability in handling tabular documents and arithmetic calculation, we add the TAT-QA dataset (Zhu et al., 2021) which contains both elements. In addition, we integrate contextualized single-turn QA datasets to further strengthen the QA capability of our model. Furthermore, we still keep the stage-1 SFT dataset in the training blend to maintain the model's instruction-following capability.
이 부분에서는 2단계 Instruction Tuning을 위한 훈련 혼합의 세부 사항을 소개합니다. 표 형식의 문서와 산술 계산을 처리하는 QA 기능을 강화하기 위해 두 가지 요소를 모두 포함하는 TAT-QA 데이터 세트(Zhu et al., 2021)를 추가합니다. 또한 문맥화된 단일 턴 QA 데이터 세트를 통합하여 모델의 QA 기능을 더욱 강화합니다. 또한 1단계 Supervised Fine-tuning (SFT) 데이터 세트를 여전히 훈련 혼합에 유지하여 모델의 Instruction-following 기능을 유지합니다.
이 부분에서는 2단계 지침 튜닝을 위한 훈련 혼합의 세부 사항을 소개합니다. 표 형식의 문서와 산술 계산을 처리하는 QA 기능을 강화하기 위해 두 가지 요소를 모두 포함하는 TAT-QA 데이터 세트(Zhu et al., 2021)를 추가합니다. 또한 문맥화된 단일 턴 QA 데이터 세트를 통합하여 모델의 QA 기능을 더욱 강화합니다. 또한 1단계 SFT 데이터 세트를 여전히 훈련 혼합에 유지하여 모델의 지침 추종 기능을 유지합니다.