In reasoning tasks, even a minor error can cascade into inaccurate results, leading to suboptimal performance of large language models in such domains. Earlier fine-tuning approaches sought to mitigate this by leveraging more precise supervisory signals from human labeling, larger models, or self-sampling, although at a high cost. Conversely, we develop a method that avoids external resources, relying instead on introducing perturbations to the input. Our training approach randomly masks certain tokens within the chain of thought, a technique we found to be particularly effective for reasoning tasks. When applied to fine-tuning with GSM8K, this method achieved a 5% improvement in accuracy over standard supervised fine-tuning with a few codes modified and no additional labeling effort. Furthermore, it is complementary to existing methods. When integrated with related data augmentation methods, it leads to an average improvement of 3% improvement in GSM8K accuracy and 1% improvement in MATH accuracy across five datasets of various quality and size, as well as two base models. We further investigate the mechanisms behind this improvement through case studies and quantitative analysis, suggesting that our approach may provide superior support for the model in capturing long-distance dependencies, especially those related to questions. This enhancement could deepen understanding of premises in questions and prior steps.
추론 과제에서는 사소한 오류도 부정확한 결과로 이어져 해당 영역에서 Large Language Models의 성능이 최적이 되지 못할 수 있습니다. 이전의 Fine-tuning 접근 방식은 인간 라벨링의 보다 정확한 감독 신호, 더 큰 모델 또는 자체 샘플링을 활용하여 이를 완화하고자 했지만, 그 대가가 컸습니다. 반대로 저희는 외부 리소스를 피하고 대신 입력에 교란을 도입하는 방법을 개발했습니다. 이 방법은 추론 작업에 특히 효과적인 것으로 밝혀진 생각의 사슬 내에서 특정 토큰을 무작위로 마스킹하는 기술을 사용합니다. 이 방법을 GSM8K로 Fine-tuning하는 데 적용하면 몇 가지 코드를 수정하고 추가 라벨링 작업 없이도 표준 Supervised Fine-tuning보다 정확도가 5% 향상되었습니다. 또한 기존 방법과 보완적입니다. 관련 데이터 증강 방법과 통합하면 다양한 품질과 크기의 5개 데이터 세트와 2개의 기본 모델에서 평균적으로 GSM8K 정확도는 3% 향상, MATH 정확도는 1% 향상되는 효과를 가져왔습니다. 또한 사례 연구와 정량적 분석을 통해 이러한 개선의 메커니즘을 추가로 조사하여, 이 접근 방식이 특히 질문과 관련된 장거리 종속성, 특히 질문과 관련된 장거리 종속성을 포착하는 데 있어 모델을 더 우수하게 지원할 수 있음을 시사합니다. 이러한 개선은 질문의 전제와 이전 단계에 대한 이해를 깊게 할 수 있습니다.
추론 과제에서는 사소한 오류도 부정확한 결과로 이어져 해당 영역에서 대규모 언어 모델의 성능이 최적이 되지 못할 수 있습니다. 이전의 미세 조정 접근 방식은 인간 라벨링의 보다 정확한 감독 신호, 더 큰 모델 또는 자체 샘플링을 활용하여 이를 완화하고자 했지만, 그 대가가 컸습니다. 반대로 저희는 외부 리소스를 피하고 대신 입력에 교란을 도입하는 방법을 개발했습니다. 이 방법은 추론 작업에 특히 효과적인 것으로 밝혀진 생각의 사슬 내에서 특정 토큰을 무작위로 마스킹하는 기술을 사용합니다. 이 방법을 GSM8K로 미세 조정하는 데 적용하면 몇 가지 코드를 수정하고 추가 라벨링 작업 없이도 표준 지도 미세 조정보다 정확도가 5% 향상되었습니다. 또한 기존 방법과 보완적입니다. 관련 데이터 증강 방법과 통합하면 다양한 품질과 크기의 5개 데이터 세트와 2개의 기본 모델에서 평균적으로 GSM8K 정확도는 3% 향상, MATH 정확도는 1% 향상되는 효과를 가져왔습니다. 또한 사례 연구와 정량적 분석을 통해 이러한 개선의 메커니즘을 추가로 조사하여, 이 접근 방식이 특히 질문과 관련된 장거리 종속성, 특히 질문과 관련된 장거리 종속성을 포착하는 데 있어 모델을 더 우수하게 지원할 수 있음을 시사합니다. 이러한 개선은 질문의 전제와 이전 단계에 대한 이해를 깊게 할 수 있습니다.