Figure 3: The impact of mask ratio when training on Llama2-7B with GSM8K. We compare MFT of two settings: Fixed mask ratio without warm-up, and a linear warm-up of the mask ratio starting from 0.
Figure 3: GSM8K로 Llama2-7B를 훈련할 때 마스크 비율의 영향. 우리는 두 가지 설정의 MFT를 비교합니다: 워밍업 없이 고정된 마스크 비율과 0에서 시작하는 마스크 비율의 선형 워밍업.
그림 3: GSM8K로 Llama2-7B를 훈련할 때 마스크 비율의 영향. 두 설정의 MFT를 비교합니다: 워밍업이 없는 고정 마스크 비율과 0에서 시작하는 마스크 비율의 선형 워밍업을 비교합니다.