**Results.** Our experiments yield the following insights: 1. In terms of the placement of noise, we find that masking partial reasoning steps in the target yields the best performance when compared to introducing noise across all tokens or specifically within the question. 2. We observe that introducing more huge noise to remove the original semantic is advantageous. Specifically, setting \(\tau=100\) for Scheduled Sampling and \(a=1000\) for NEFTune enhances the model's performance. In contrast, the strategy of replacing synonyms, with \(\tau=1,2\) in Scheduled Sampling, does not surpass the effectiveness of random replacement.
**결과.** 실험을 통해 다음과 같은 인사이트를 얻었습니다: 1. 노이즈 배치 측면에서 모든 토큰에 걸쳐 노이즈를 도입하거나 질문 내에 특별히 노이즈를 도입하는 것과 비교했을 때 대상에서 부분적인 추론 단계를 마스킹하는 것이 가장 우수한 성능을 보이는 것으로 나타났습니다. 2. 원래의 의미를 제거하기 위해 더 많은 노이즈를 도입하는 것이 유리하다는 것을 관찰했습니다. 특히, Scheduled Sampling의 경우 (\(\tau=100\) 설정, NEFTune의 경우 \(a=1000\) 설정이 모델의 성능을 향상시킵니다. 반면에 Scheduled Sampling에서 \(\tau=1,2\)로 동의어를 대체하는 전략은 무작위 대체의 효과를 뛰어넘지 못합니다.
**결과.** 실험을 통해 다음과 같은 인사이트를 얻었습니다: 1. 노이즈 배치 측면에서 모든 토큰에 걸쳐 노이즈를 도입하거나 질문 내에 특별히 노이즈를 도입하는 것과 비교했을 때 대상에서 부분적인 추론 단계를 마스킹하는 것이 가장 우수한 성능을 보이는 것으로 나타났습니다. 2. 원래의 의미를 제거하기 위해 더 많은 노이즈를 도입하는 것이 유리하다는 것을 관찰했습니다. 특히, 예정된 샘플링의 경우 (\(\tau=100\) 설정, NEFTune의 경우 \(a=1000\) 설정이 모델의 성능을 향상시킵니다. 반면에 예정된 샘플링에서 \(\tau=1,2\)로 동의어를 대체하는 전략은 무작위 대체의 효과를 뛰어넘지 못합니다.