The parameters \(a\) and \(c\) are fitted from the data. If the loss of selected tokens \(\mathcal{L}_{s}\) is used for fitting, then \(a>0\). Conversely, if the loss of unselected tokens \(\mathcal{L}_{us}\) is used for fitting, then \(a<0\). Therefore, we believe that training the model on selected tokens can effectively improve its performance on downstream tasks, while unselected tokens may have a detrimental effect on the model's performance in downstream tasks.
파라미터 \(a\)와 \(c\)는 데이터로부터 맞춰집니다. 선택된 토큰의 손실 \(\mathcal{L}_{s}\)이 맞추기에 사용되면, \(a>0\)입니다. 반대로, 선택되지 않은 토큰의 손실 \(\mathcal{L}_{us}\)이 맞추기에 사용되면, \(a<0\)입니다. 따라서, 선택된 토큰으로 모델을 훈련시키는 것이 다운스트림 작업에서 모델의 성능을 효과적으로 향상시킬 수 있다고 믿으며, 선택되지 않은 토큰은 다운스트림 작업에서 모델의 성능에 해로운 영향을 미칠 수 있습니다.
매개변수 \(a\)와 \(c\)는 데이터로부터 맞춤화됩니다. 선택된 토큰의 손실 \(\mathcal{L}_{s}\)을 피팅에 사용하는 경우, \(a>0\)입니다. 반대로 선택되지 않은 토큰의 손실 \(\mathcal{L}_{us}\)을 피팅에 사용하는 경우, \(a<0\)입니다. 따라서 선택된 토큰에 대해 모델을 훈련하면 다운스트림 작업에서 모델의 성능을 효과적으로 향상시킬 수 있는 반면, 선택되지 않은 토큰은 다운스트림 작업에서 모델의 성능에 해로운 영향을 미칠 수 있다고 생각합니다.