We propose Masked thought Fine-Tuning as a regularization technique during fine-tuning. Our findings indicate that MFT not only boosts the reasoning performance but also improves the model's ability to capture long-distance dependencies. This study could pave the way for future research on regularization strategies for reasoning tasks and further exploration of the interplay between language dependency and reasoning capabilities.
미세 조정 중 정규화 기법으로 Masked thought Fine-Tuning을 제안합니다. 연구 결과에 따르면 MFT는 추론 성능을 향상시킬 뿐만 아니라 모델이 원거리 종속성을 포착하는 능력도 향상시킵니다. 이 연구는 추론 작업을 위한 정규화 전략에 대한 향후 연구와 언어 종속성과 추론 능력 간의 상호 작용에 대한 추가 탐구의 길을 열 수 있습니다.
미세 조정 중 정규화 기법으로 마스크된 사고 미세 조정을 제안합니다. 연구 결과에 따르면 MFT는 추론 성능을 향상시킬 뿐만 아니라 모델이 원거리 종속성을 포착하는 능력도 향상시킵니다. 이 연구는 추론 작업을 위한 정규화 전략에 대한 향후 연구와 언어 종속성과 추론 능력 간의 상호 작용에 대한 추가 탐구의 길을 열 수 있습니다.