In SS2.1, we mentioned that during the training process, only a minority of tokens belong to the H\(\rightarrow\)L category. Among the remaining categories of H\(\rightarrow\)H and L\(\rightarrow\)L tokens, there are tokens that exhibit significant fluctuations during training. Furthermore, there are instances where H\(\rightarrow\)L tokens are not effectively learned. Therefore, in our analysis, we specifically select those tokens from these categories that demonstrate considerable variability and distinct loss. We visualize these tokens that exhibit abnormal behavior during the training process. As illustrated in Figure 11, we find that the majority of these tokens originate from rather chaotic corpora. For instance, the corpora may include a mix of custom symbols, unintelligible gibberish, and information such as timetables and bibliographic references. Within a segment of normal text, there may also be fluctuations in the usage of common conjunctions, word suffixes, and punctuation marks. The latter may not necessarily be disastrous for training; in fact, it could represent a normal occurrence. However, if we can effectively mitigate the losses caused by the former, it might lead to more stable and efficient model training.
SS2.1에서 우리는 훈련 과정 중 소수의 토큰만이 H\(\rightarrow\)L 범주에 속한다고 언급했습니다. 남은 H\(\rightarrow\)H 및 L\(\rightarrow\)L 토큰 범주 중에는 훈련 중에 상당한 변동을 보이는 토큰들이 있습니다. 또한, H\(\rightarrow\)L 토큰이 효과적으로 학습되지 않는 경우도 있습니다. 따라서, 우리의 분석에서는 이러한 범주에서 상당한 변동성과 뚜렷한 손실을 보이는 토큰들을 선택합니다. 우리는 훈련 과정 중 비정상적인 행동을 보이는 이러한 토큰들을 시각화합니다. Figure 11에서 볼 수 있듯이, 이러한 토큰들의 대부분은 다소 혼란스러운 코퍼스에서 유래합니다. 예를 들어, 코퍼스에는 사용자 정의 기호, 이해할 수 없는 잡담, 시간표 및 참고 문헌과 같은 정보가 혼합되어 있을 수 있습니다. 정상적인 텍스트의 일부에서도 일반적인 접속사, 단어 접미사 및 구두점 사용에 변동이 있을 수 있습니다. 후자는 반드시 훈련에 치명적이지 않을 수 있으며, 실제로는 정상적인 현상을 나타낼 수 있습니다. 그러나 전자의 손실을 효과적으로 완화할 수 있다면, 더 안정적이고 효율적인 모델 훈련으로 이어질 수 있습니다.
SS2.1에서 훈련 과정에서 소수의 토큰만이 H\(\rightarrow\)L 카테고리에 속한다고 언급했습니다. 나머지 H\(\rightarrow\)H 및 L\(\rightarrow\)L 토큰 카테고리 중에는 훈련 중에 상당한 변동을 보이는 토큰이 있습니다. 또한 H\(\rightarrow\)L 토큰이 효과적으로 학습되지 않는 경우도 있습니다. 따라서 분석에서는 이러한 범주에서 상당한 변동성과 뚜렷한 손실을 보이는 토큰을 구체적으로 선택합니다. 훈련 과정에서 비정상적인 동작을 보이는 이러한 토큰을 시각화합니다. 그림 11에서 볼 수 있듯이, 이러한 토큰의 대부분은 다소 혼란스러운 말뭉치에서 발생하는 것으로 나타났습니다. 예를 들어, 말뭉치에는 사용자 지정 기호, 알아들을 수 없는 횡설수설, 시간표 및 참고 문헌과 같은 정보가 혼합되어 있을 수 있습니다. 정상적인 텍스트의 한 구간 내에서도 일반적인 접속사, 단어 접미사, 구두점의 사용에 변동이 있을 수 있습니다. 후자는 반드시 훈련에 치명적이지는 않을 수 있으며, 실제로는 정상적인 현상일 수도 있습니다. 그러나 전자에 의한 손실을 효과적으로 완화할 수 있다면 보다 안정적이고 효율적인 모델 훈련으로 이어질 수 있습니다.