Moreover, We relate the selected tokens' loss to its downstream task performance via a power law in Figure 7, which is similar to a concurrent study (Gadre et al., 2024). Observing the curve fitted from the data points in the graph, the average loss of tokens selected by the SLM shows a positive correlation with the performance of downstream tasks, whereas the average loss of tokens not selected exhibits a negative correlation with downstream task performance. Therefore, it is not necessary for the all tokens' loss to decrease to benefit the model's ultimate performance. See Appendix D for more details.
또한, 그림 7의 power law를 통해 선택된 토큰의 loss를 downstream task 성능과 연관시키는데, 이는 동시 연구(Gadre et al., 2024)와 유사합니다. 그래프의 데이터 포인트에서 피팅한 곡선을 관찰하면, SLM이 선택한 토큰의 평균 loss는 downstream task의 성능과 양의 상관관계를 보이는 반면, 선택되지 않은 토큰의 평균 loss는 downstream task 성능과 음의 상관관계를 보입니다. 따라서 모델의 궁극적인 성능에 도움이 되기 위해 모든 토큰의 loss가 감소할 필요는 없습니다. 자세한 내용은 부록 D를 참조하세요.
또한, 그림 7의 거듭제곱 법칙을 통해 선택된 토큰의 손실을 다운스트림 작업 성능과 연관시키는데, 이는 동시 연구(Gadre et al., 2024)와 유사합니다. 그래프의 데이터 포인트에서 피팅한 곡선을 관찰하면, SLM이 선택한 토큰의 평균 손실은 다운스트림 작업의 성능과 양의 상관관계를 보이는 반면, 선택되지 않은 토큰의 평균 손실은 다운스트림 작업 성능과 음의 상관관계를 보입니다. 따라서 모델의 궁극적인 성능에 도움이 되기 위해 모든 토큰의 손실이 감소할 필요는 없습니다. 자세한 내용은 부록 D를 참조하세요.