**Mask Ratio and Scheduling.** In Fig. 3, we investigate the influence of two major hyperparameters in MFT: mask ratio and warm-up duration. Our analysis reveals that incorporating a warm-up period contributes to enhanced final performance for a large mask ratio, while a small mask ratio without warm-up also works. Within the GSM8K dataset, varying mask ratios exhibit minimal sensitivity, as the problem-solving procedures within it lack dense formulas. Consequently, this dataset permits a relatively higher mask ratio. In our primary experiment, we set this ratio to 0.4. However, for datasets with more intricate formulas, such as MATH, we opt for smaller mask ratios, typically 0.1 or 0.2. As for warm-up period, we adopt a conservative duration without excessive tuning of this hyperparameter. Generally, we allocate around two-thirds of the total training steps for warm-up.
**Mask Ratio and Scheduling.** Fig. 3에서는 MFT의 두 가지 주요 하이퍼파라미터인 mask ratio와 warm-up duration의 영향을 조사합니다. 분석 결과, warm-up period를 포함하면 mask ratio가 높을수록 최종 성능이 향상되는 반면, warm-up이 없는 작은 mask ratio도 효과가 있는 것으로 나타났습니다. GSM8K 데이터 세트에서는 내부의 문제 해결 절차에 밀도 있는 공식이 없기 때문에 다양한 mask ratio에 대한 민감도가 최소화됩니다. 따라서 이 데이터 세트에서는 상대적으로 더 높은 mask ratio를 허용합니다. 기본 실험에서는 이 비율을 0.4로 설정했습니다. 그러나 MATH와 같이 더 복잡한 공식이 있는 데이터 세트의 경우 일반적으로 0.1 또는 0.2의 작은 mask ratio를 선택합니다. warm-up period의 경우, 이 하이퍼파라미터를 과도하게 조정하지 않고 보수적인 기간을 채택합니다. 일반적으로 전체 훈련 단계의 약 3분의 2를 warm-up에 할당합니다.
**마스크 비율 및 스케줄링.** Fig. 3에서는 MFT의 두 가지 주요 하이퍼파라미터인 마스크 비율과 워밍업 기간의 영향을 조사합니다. 분석 결과, 워밍업 기간을 포함하면 마스크 비율이 높을수록 최종 성능이 향상되는 반면, 워밍업이 없는 작은 마스크 비율도 효과가 있는 것으로 나타났습니다. GSM8K 데이터 세트에서는 내부의 문제 해결 절차에 밀도 있는 공식이 없기 때문에 다양한 마스크 비율에 대한 민감도가 최소화됩니다. 따라서 이 데이터 세트에서는 상대적으로 더 높은 마스크 비율을 허용합니다. 기본 실험에서는 이 비율을 0.4로 설정했습니다. 그러나 MATH와 같이 더 복잡한 공식이 있는 데이터 세트의 경우 일반적으로 0.1 또는 0.2의 작은 마스크 비율을 선택합니다. 워밍업 기간의 경우, 이 하이퍼파라미터를 과도하게 조정하지 않고 보수적인 기간을 채택합니다. 일반적으로 전체 훈련 단계의 약 3분의 2를 워밍업에 할당합니다.