The results of the experiments are shown in Table 1. We can see that, despite the A-2 and A-1 have undergone the same SFT distribution, adding SFT data to the decay stage pushes the boundary. Comparison between B-2 and B-3 demonstrate that the deficiency of only SFT is not due to the insufficient training tokens in SFT stage.
실험 결과는 표 1에 나와 있습니다. A-2와 A-1이 동일한 Supervised Fine-tuning (SFT) 분포를 거쳤음에도 불구하고, 붕괴 단계에 SFT 데이터를 추가하면 경계가 밀려나게 됩니다. B-2와 B-3의 비교를 통해 SFT의 결핍이 SFT 단계에서 훈련 토큰이 충분하지 않기 때문이 아님을 알 수 있습니다.
실험 결과는 표 1에 나와 있습니다. A-2와 A-1이 동일한 SFT 분포를 거쳤음에도 불구하고, 붕괴 단계에 SFT 데이터를 추가하면 경계가 밀려나게 됩니다. B-2와 B-3의 비교를 통해 SFT의 결핍이 SFT 단계에서 훈련 토큰이 충분하지 않기 때문이 아님을 알 수 있습니다.