Here, \(\mathcal{L}_{\text{CLM}}(\theta)\) represents the loss function parameterized by model \(\theta\). \(N\) is the length of the sequence, \(x_{i}\) is the \(i\)-th token in the sequence, and \(x_{<i}\) represents all tokens before the \(i\)-th token. In contrast, Selective Language Modeling (SLM) trains the language model with a focus on tokens that exhibit a high excess loss when compared to the reference model.
여기서 \(\mathcal{L}_{\text{CLM}}(\theta)\)는 모델 \(\theta\)로 parameterized된 Loss 함수를 나타냅니다. \(N\)은 시퀀스의 길이이고, \(x_{i}\)는 시퀀스의 \(i\)-번째 토큰이며, \(x_{<i}\)는 \(i\)-번째 토큰 이전의 모든 토큰을 나타냅니다. 이와 대조적으로, Selective Language Modeling (SLM)은 기준 모델과 비교할 때 초과 Loss가 높은 토큰에 초점을 맞춰 언어 모델을 훈련합니다.
여기서 \(\mathcal{L}_{\text{CLM}}(\theta)\)는 모델 \(\theta\)로 파라미터화된 손실 함수를 나타냅니다. N\)은 시퀀스의 길이이고, \(x_{i}\)는 시퀀스의 \(i\)-번째 토큰이며, \(x_{<i}\)는 \(i\)-번째 토큰 이전의 모든 토큰을 나타냅니다. 이와 대조적으로, 선택적 언어 모델링(SLM)은 기준 모델과 비교할 때 초과 손실이 높은 토큰에 초점을 맞춰 언어 모델을 훈련합니다.