during training to mask potential shortcuts, encouraging the model to build up more connections to more robust features, such as information from questions and earlier, less error-prone steps. We maintain the mathematical question unmasked, assuming it is error-free, to prompt the model to comprehend the question while leveraging the provided premises. Empirical evidence shows that masking parts of the questions does not improve performance. However, we find that even though we do not mask the questions, MFT is still able to handle the noise in the questions well (see Tab. 5). For balancing the model's exploration of unmasked premises and exploitation of the familiar premises, we employ a conservative linear warmup strategy over several epochs for stability. It Allows the model to first see a more complete context, then gradually increase the masking to ensure the stability of the loss value during training.
잠재적인 지름길을 가리고 모델이 질문 및 이전의 오류가 덜 발생하는 단계의 정보와 같은 보다 강력한 기능에 더 많은 연결을 구축하도록 장려하는 training 중입니다. 수학 문제는 오류가 없다고 가정하고 마스킹을 해제하지 않은 채로 유지하여 모델이 제공된 전제를 활용하면서 문제를 이해하도록 유도합니다. 실증적 증거에 따르면 문제의 일부를 마스킹해도 성능이 향상되지 않는 것으로 나타났습니다. 그러나 우리는 질문을 마스킹하지 않더라도 MFT가 질문의 노이즈를 잘 처리할 수 있다는 것을 발견했습니다(Tab. 5 참조). 마스킹되지 않은 전제에 대한 모델의 탐색과 익숙한 전제에 대한 착취의 균형을 맞추기 위해 안정성을 위해 여러 epoch에 걸쳐 보수적인 linear warmup 전략을 사용합니다. 이를 통해 모델이 먼저 보다 완전한 컨텍스트를 확인한 다음 점차 마스킹을 늘려 training 중 loss 값의 안정성을 보장할 수 있습니다.
잠재적인 지름길을 가리고 모델이 질문 및 이전의 오류가 덜 발생하는 단계의 정보와 같은 보다 강력한 기능에 더 많은 연결을 구축하도록 장려하는 훈련 중입니다. 수학 문제는 오류가 없다고 가정하고 마스킹을 해제하지 않은 채로 유지하여 모델이 제공된 전제를 활용하면서 문제를 이해하도록 유도합니다. 실증적 증거에 따르면 문제의 일부를 마스킹해도 성능이 향상되지 않는 것으로 나타났습니다. 그러나 우리는 질문을 마스킹하지 않더라도 MFT가 질문의 노이즈를 잘 처리할 수 있다는 것을 발견했습니다(Tab. 5 참조). 마스킹되지 않은 전제에 대한 모델의 탐색과 익숙한 전제에 대한 착취의 균형을 맞추기 위해 안정성을 위해 여러 에포크에 걸쳐 보수적인 선형 워밍업 전략을 사용합니다. 이를 통해 모델이 먼저 보다 완전한 컨텍스트를 확인한 다음 점차 마스킹을 늘려 훈련 중 손실 값의 안정성을 보장할 수 있습니다.