**Case Study.** To supplement the statistical results shown in Figure 1, we further conduct a case study to demonstrate the impact of token dependencies introduced by MFT. In Figure 4, we vary a digit within the context between \(0\) and \(9\) to see whether it influences the predictions of subsequent steps. If the model consistently predicts \(16-3\), this indicates that the model's prediction is not influenced by the digit change, but rather relies on the information provided in the question and prior steps, with the word "three" highlighted in orange. Conversely, if the model's prediction shifts to \(16-n\), it implies a dependency on immediate, adjacent tokens, suggesting a reliance on distance shortcuts. The frequency of \(16-3\) predictions, as summarized in Table 4, reveals that MFT primarily leverages the token within the question, in contrast to the SFT approach, which tends to adopt a more short-sighted view.
**Case Study.** 그림 1에 표시된 통계적 결과를 보완하기 위해, 우리는 MFT에 의해 도입된 토큰 종속성의 영향을 보여주기 위해 사례 연구를 추가로 수행합니다. 그림 4에서는 문맥 내에서 숫자를 \(0\)에서 \(9\) 사이로 변경하여 다음 단계의 예측에 영향을 미치는지 확인합니다. 모델이 일관되게 \(16-3\)을 예측하면 모델의 예측이 숫자 변경에 의해 영향을 받지 않고 오렌지색으로 강조 표시된 단어 "three"에서 제공된 정보에 의존한다는 것을 나타냅니다. 반대로 모델의 예측이 \(16-n\)으로 이동하면 즉각적으로 인접한 토큰에 대한 종속성이 있음을 의미하며, 이는 거리 단축에 대한 의존성을 시사합니다. 표 4에 요약된 \(16-3\) 예측의 빈도를 보면, MFT는 주로 질문 내의 토큰을 활용하는 반면, Supervised Fine-tuning (SFT) 접근 방식은 보다 근시안적인 관점을 취하는 경향이 있음을 알 수 있습니다.
**사례 연구**. 그림 1에 표시된 통계적 결과를 보완하기 위해, 우리는 MFT에 의해 도입된 토큰 종속성의 영향을 보여주기 위해 사례 연구를 추가로 수행합니다. 그림 4에서는 문맥 내에서 숫자를 \(0\)에서 \(9\) 사이로 변경하여 다음 단계의 예측에 영향을 미치는지 확인합니다. 모델이 일관되게 \(16-3\)을 예측하면 모델의 예측이 숫자 변경에 의해 영향을 받지 않고 오렌지색으로 강조 표시된 단어 "three"에서 제공된 정보에 의존한다는 것을 나타냅니다. 반대로 모델의 예측이 \(16-n\)으로 이동하면 즉각적으로 인접한 토큰에 대한 종속성이 있음을 의미하며, 이는 거리 단축에 대한 의존성을 시사합니다. 표 4에 요약된 \(16-3\) 예측의 빈도를 보면, MFT는 주로 질문 내의 토큰을 활용하는 반면, SFT 접근 방식은 보다 근시안적인 관점을 취하는 경향이 있음을 알 수 있습니다.