Figure 1: We find MFT has a higher long-distance dependency than SFT. A higher bar indicates greater dependency at the corresponding distance. Specifically. We investigate the interdependency of two numerical tokens within a given sequence. We conduct experiments using the Llama-2-7b model trained on the GSM8K dataset with both the SFT and our method.
Figure 1: 우리는 MFT가 SFT보다 더 높은 장거리 의존성을 가지고 있음을 발견했습니다. 막대가 높을수록 해당 거리에서의 의존성이 더 큽니다. 구체적으로, 우리는 주어진 시퀀스 내에서 두 개의 숫자 토큰 간의 상호 의존성을 조사합니다. 우리는 SFT와 우리의 방법을 사용하여 GSM8K 데이터셋에서 훈련된 Llama-2-7b 모델을 사용하여 실험을 수행했습니다.
그림 1: MFT가 SFT보다 원거리 종속성이 더 높다는 것을 알 수 있습니다. 막대가 높을수록 해당 거리에서 종속성이 더 크다는 것을 나타냅니다. 구체적으로, 주어진 시퀀스 내에서 두 개의 숫자 토큰 간의 상호 의존성을 조사합니다. SFT와 우리 방법으로 GSM8K 데이터 세트에서 학습된 Llama-2-7b 모델을 사용하여 실험을 수행합니다.