What Tokens are Selected with SLM?We aim to analyze the tokens selected by the SLM method in pretraining to further explore its working mechanism. To this end, we visualize the token selection process during the training of Rho-1 using the OpenWebMath. In SSE.1, we have highlighted in blue the tokens that were retained during actual pretraining. We observe that the majority of tokens chosen by the SLM method are closely related to mathematics, effectively training the model on the parts of the original corpus that are pertinent to mathematical content.
SLM으로 선택된 토큰은 무엇인가? Pretraining에서 SLM 방식으로 선택된 토큰을 분석하여 그 작동 메커니즘을 더 탐구하는 것을 목표로 합니다. 이를 위해 OpenWebMath를 사용하여 Rho-1의 training 중 token selection 과정을 시각화합니다. SSE.1에서는 실제 pretraining 중에 유지된 token을 파란색으로 강조 표시했습니다. SLM 방식으로 선택된 대부분의 token은 수학과 밀접한 관련이 있으며, 수학적 내용과 관련된 원본 corpus의 일부에 대해 모델을 효과적으로 학습시키는 것을 관찰할 수 있습니다.
SLM으로 선택된 토큰은 무엇인가?사전 학습에서 SLM 방식으로 선택된 토큰을 분석하여 그 작동 메커니즘을 더 탐구하는 것을 목표로 합니다. 이를 위해 OpenWebMath를 사용하여 Rho-1의 훈련 중 토큰 선택 과정을 시각화합니다. SSE.1에서는 실제 사전 학습 중에 유지된 토큰을 파란색으로 강조 표시했습니다. SLM 방식으로 선택된 대부분의 토큰은 수학과 밀접한 관련이 있으며, 수학적 내용과 관련된 원본 코퍼스의 일부에 대해 모델을 효과적으로 학습시키는 것을 관찰할 수 있습니다.