In Table 2, we conduct ablation study on the importance of stage-1 SFT, which enhance the instruction following capability of ChatQA. We remove the stage-1 SFT from the fine-tuning stages and only apply stage-2 context-enhanced instruction tuning on top of foundation LLM. We find that the average score drops 1.9 (from 54.08 to 52.18). Aside from the SQA, removing stage-1 makes the model perform consistently worse on other datasets. Results indicate that stage-1 still plays an important role, even through all of SFT datasets of stage-1 are blended in stage-2 instruction tuning as well. We figure that building instruction-following capability first is beneficial for stage-2 tuning.
표 2에서는 ChatQA의 Instruction 추종 기능을 향상시키는 1단계 SFT의 중요성에 대한 압제 연구를 수행합니다. Fine-tuning 단계에서 1단계 SFT를 제거하고 기반 LLM 위에 2단계 컨텍스트 강화 Instruction Tuning만 적용합니다. 평균 점수가 1.9(54.08에서 52.18로) 하락하는 것을 발견했습니다. 1단계를 제거하면 SQA 외에도 다른 데이터 세트에서 모델의 성능이 일관되게 떨어지는 것을 확인했습니다. 결과는 1단계의 모든 SFT 데이터 세트가 2단계 Instruction Tuning에도 혼합되었음에도 불구하고 1단계가 여전히 중요한 역할을 한다는 것을 나타냅니다. Instruction 추종 기능을 먼저 구축하는 것이 2단계 튜닝에 도움이 된다는 것을 알 수 있습니다.
표 2에서는 ChatQA의 명령어 추종 기능을 향상시키는 1단계 SFT의 중요성에 대한 압제 연구를 수행합니다. 미세 조정 단계에서 1단계 SFT를 제거하고 기반 LLM 위에 2단계 컨텍스트 강화 명령어 튜닝만 적용합니다. 평균 점수가 1.9(54.08에서 52.18로) 하락하는 것을 발견했습니다. 1단계를 제거하면 SQA 외에도 다른 데이터 세트에서 모델의 성능이 일관되게 떨어지는 것을 확인했습니다. 결과는 1단계의 모든 SFT 데이터 세트가 2단계 명령어 튜닝에도 혼합되었음에도 불구하고 1단계가 여전히 중요한 역할을 한다는 것을 나타냅니다. 명령어 추종 기능을 먼저 구축하는 것이 2단계 튜닝에 도움이 된다는 것을 알 수 있습니다.