Next, we can classify the tokens based on \(\Delta\mathcal{L}\) and the \(\mathcal{L}_{\text{mean}}\). We categorize tokens with \(\Delta\mathcal{L}<-0.2\) as H\(\rightarrow\)L (loss decreases from high to low) category tokens, and tokens with \(\Delta\mathcal{L}>0.2\) as L\(\rightarrow\)H (loss increases from low to high) category tokens. If \(-0.2\leq\Delta\mathcal{L}\leq 0.2\) and \(l_{n}\leq\mathcal{L}_{\text{mean}}\), then tokens are classified as L\(\rightarrow\)L (loss remains low); if \(l_{n}>\mathcal{L}_{\text{mean}}\), they are classified as H\(\rightarrow\)H (loss remains high). In Figure 10, we visualize examples of the four categories of tokens in actual text.
다음으로, 토큰을 \(\Delta\mathcal{L}\)와 \(\mathcal{L}_{\text{mean}}\)에 따라 분류할 수 있습니다. \(\Delta\mathcal{L}<-0.2\)인 토큰을 H\(\rightarrow\)L (loss가 높은 것에서 낮은 것으로 감소) 카테고리 토큰으로 분류하고, \(\Delta\mathcal{L}>0.2\)인 토큰을 L\(\rightarrow\)H (loss가 낮은 것에서 높은 것으로 증가) 카테고리 토큰으로 분류합니다. \(-0.2\leq\Delta\mathcal{L}\leq 0.2\)이고 \(l_{n}\leq\mathcal{L}_{\text{mean}}\)이면 L\(\rightarrow\)L (loss가 낮게 유지됨)로 분류하고, \(l_{n}>\mathcal{L}_{\text{mean}}\)이면 H\(\rightarrow\)H (loss가 높게 유지됨)로 분류합니다. 그림 10에서는 실제 텍스트에서 네 가지 범주의 토큰의 예를 시각화합니다.
다음으로, 토큰을 \(\Delta\mathcal{L}\)와 \(\mathcal{L}_{\text{mean}}\)에 따라 분류할 수 있습니다. Delta\mathcal{L}<-0.2\)인 토큰을 H\(\우측수렴\)L(손실이 높은 것에서 낮은 것으로 감소) 카테고리 토큰으로 분류하고, \(\Delta\mathcal{L}>0.2\)인 토큰을 L\(\우측수렴\)H(손실이 낮은 것에서 높은 것으로 증가) 카테고리 토큰으로 분류합니다. 0.2\leq\Delta\mathcal{L}\leq 0.2\)이고 \(l_{n}\leq\mathcal{L}_{\text{mean}}\)이면 L\(\rightarrow\)L(손실이 낮게 유지됨)로 분류하고, \(l_{n}>\mathcal{L}_{\text{mean}}\)이면 H\(\rightarrow\)H(손실이 높게 유지됨)로 분류합니다. 그림 10에서는 실제 텍스트에서 네 가지 범주의 토큰의 예를 시각화합니다.