In Figure 13, we display the dynamic changes in token selection tendencies throughout the SLM training process. We chose four checkpoints during the training process (0%, 33%, 66%, and 100%) to analyze the current tendencies in token selection. The preferences for token selection are indicated by different colors, ranging from high to low preference, typically represented as deep blue, blue, black, orange, and dark orange, respectively.
Figure 13에서는 SLM 훈련 과정 전반에 걸친 토큰 선택 경향의 동적 변화를 보여줍니다. 훈련 과정 중 4개의 체크포인트(0%, 33%, 66%, 100%)를 선택하여 현재 토큰 선택 경향을 분석했습니다. 토큰 선택에 대한 선호도는 다양한 색상으로 표시되며, 일반적으로 높은 선호도에서 낮은 선호도로 깊은 파란색, 파란색, 검은색, 주황색, 짙은 주황색으로 나타납니다.
그림 13에서는 SLM 학습 과정에서 토큰 선택 경향의 동적 변화를 보여줍니다. 학습 과정에서 네 개의 체크포인트(0%, 33%, 66%, 100%)를 선택하여 토큰 선택의 현재 경향을 분석했습니다. 토큰 선택에 대한 선호도는 일반적으로 진한 파란색, 파란색, 검은색, 주황색, 진한 주황색으로 표시되는 높은 선호도에서 낮은 선호도까지 다양한 색상으로 표시됩니다.