Figure 3: **The loss of four categories of tokens during pretraining.** (a) shows the loss of H\(\rightarrow\)H, L\(\rightarrow\)H, H\(\rightarrow\)L, and L\(\rightarrow\)L tokens during pretraining. (b) and (c) show three cases of fluctuating tokens’ loss in L\(\rightarrow\)L and H\(\rightarrow\)H during pretraining, respectively.
그림 3: **사전 학습 중 4개 토큰 카테고리의 Loss.** (a)는 사전 학습 중 H\(\rightarrow\)H, L\(\rightarrow\)H, H\(\rightarrow\)L 및 L\(\rightarrow\)L 토큰의 Loss를 보여줍니다. (b) 및 (c)는 각각 사전 학습 중 L\(\rightarrow\)L 및 H\(\rightarrow\)H에서 변동하는 토큰의 Loss를 세 가지 경우로 보여줍니다.
그림 3: **사전 학습 중 4개 토큰 카테고리의 손실.** (a)는 사전 학습 중 H\(\rightarrow\)H, L\(\rightarrow\)H, H\(\rightarrow\)L 및 L\(\rightarrow\)L 토큰의 손실을 보여줍니다. (b) 및 (c)는 각각 사전 학습 중 L\(\rightarrow\)L 및 H\(\rightarrow\)H에서 변동하는 토큰의 손실을 세 가지 경우로 보여줍니다.