The analysis by Xia et al. (2022) is the most related to ours, which examines token-level training trajectories in models of varying sizes. Our findings, however, diverge from those of Xia et al. (2022), who posit that tokens with little change in perplexity are "already learned". We identify a spectrum of token patterns, including "easy tokens" and "hard tokens" that resist convergence. Recognizing this, we propose a method of selective language modeling that targets the influential tokens, optimizing the learning process.
Xia 등(2022)의 분석은 다양한 크기의 모델에서 token 수준의 학습 궤적을 조사하는 우리 연구와 가장 관련이 높습니다. 그러나 우리의 연구 결과는 perplexity의 변화가 거의 없는 token이 "이미 학습된" token이라고 가정하는 Xia 등(2022)의 연구 결과와는 다릅니다. 우리는 수렴에 저항하는 "쉬운 token"과 "어려운 token"을 포함하여 다양한 token 패턴을 확인했습니다. 이를 인식하여 영향력 있는 token을 대상으로 학습 과정을 최적화하는 선택적 언어 모델링 방법을 제안합니다.
Xia 등(2022)의 분석은 다양한 크기의 모델에서 토큰 수준의 학습 궤적을 조사하는 우리 연구와 가장 관련이 높습니다. 그러나 우리의 연구 결과는 당황스러움의 변화가 거의 없는 토큰이 "이미 학습된" 토큰이라고 가정하는 Xia 등(2022)의 연구 결과와는 다릅니다. 우리는 수렴에 저항하는 "쉬운 토큰"과 "어려운 토큰"을 포함하여 다양한 토큰 패턴을 확인했습니다. 이를 인식하여 영향력 있는 토큰을 대상으로 학습 과정을 최적화하는 선택적 언어 모델링 방법을 제안합니다.