First, _we propose a simple and effective Masked thought Fine-Tuning (MFT) method for improving language model reasoning._ The implementation of our method is simple: it requires only the substitution of specific tokens with a [mask] in the chain of thought. This is done while maintaining the same procedures as the standard Supervised Fine-Tuning (SFT). With just this minor modification, a 5% increase in accuracy can be achieved when fine-tuning on the GSM8K dataset with Llama-2-7B [13], which yields results comparable to those obtained using a more complex data generation pipeline (see Tab.2). Moreover, this method exhibits good versatility and complements other data augmentation techniques well, allowing for seamless integration. Our experiments have demonstrated that by substituting SFT with our Masked Thought strategy, we can enhance accuracy by an average of 3% on the GSM8K dataset and by 1% on the MATH dataset across five different math datasets and two models (see Tab.1). Moreover, MFT demonstrates higher sample efficiency than SFT (see Fig.2).
먼저, _언어 모델 추론을 개선하기 위한 간단하고 효과적인 Masked thought Fine-Tuning (MFT) 방법을 제안합니다._ 이 방법의 구현은 매우 간단합니다. 생각의 사슬에서 특정 토큰을 [mask]로 대체하기만 하면 됩니다. 이는 표준 Supervised Fine-Tuning (SFT)과 동일한 절차를 유지하면서 수행됩니다. 이 작은 수정만으로 GSM8K 데이터 세트에서 Llama-2-7B [13]을 사용하여 Fine-tuning할 때 정확도가 5% 증가하여 더 복잡한 데이터 생성 파이프라인을 사용하여 얻은 결과와 비슷한 결과를 얻을 수 있습니다(Tab.2 참조). 또한 이 방법은 뛰어난 다용도성을 보이며 다른 데이터 증강 기술을 잘 보완하여 원활하게 통합할 수 있습니다. 실험 결과, SFT를 Masked Thought 전략으로 대체하면 다섯 가지 수학 데이터 세트와 두 가지 모델에서 GSM8K 데이터 세트의 정확도는 평균 3%, MATH 데이터 세트의 정확도는 1% 향상될 수 있음을 입증했습니다(Tab.1 참조). 또한 MFT는 SFT보다 더 높은 샘플 효율성을 보여줍니다(그림 2 참조).
먼저, _언어 모델 추론을 개선하기 위한 간단하고 효과적인 마스크된 사고 미세 조정(MFT) 방법을 제안합니다._ 이 방법의 구현은 매우 간단합니다. 생각의 사슬에서 특정 토큰을 [마스크]로 대체하기만 하면 됩니다. 이는 표준 지도 미세 조정(SFT)과 동일한 절차를 유지하면서 수행됩니다. 이 작은 수정만으로 GSM8K 데이터 세트에서 Llama-2-7B [13]을 사용하여 미세 조정할 때 정확도가 5% 증가하여 더 복잡한 데이터 생성 파이프라인을 사용하여 얻은 결과와 비슷한 결과를 얻을 수 있습니다(Tab.2 참조). 또한 이 방법은 뛰어난 다용도성을 보이며 다른 데이터 증강 기술을 잘 보완하여 원활하게 통합할 수 있습니다. 실험 결과, SFT를 마스크 사고 전략으로 대체하면 다섯 가지 수학 데이터 세트와 두 가지 모델에서 GSM8K 데이터 세트의 정확도는 평균 3%, MATH 데이터 세트의 정확도는 1% 향상될 수 있음을 입증했습니다(Tab.1 참조). 또한 MFT는 SFT보다 더 높은 샘플 효율성을 보여줍니다(그림 2 참조).