When the model is trained with MaskedLM using \(r=1\), the model encounters random tokens unrelated to the current context, leading it to disregard the semantics of these tokens, akin to the role of [mask]. In the experiments in Tab. 3, \(r=1\) yields slightly higher results than \(m=1\). While \(r=1\) demonstrates higher levels of randomness in comparison to \(m=1\), it has the potential to better mitigate overfitting. However, on average, the distinction between \(r=1\) and \(m=1\) is marginal for larger datasets. With the exception of using \(r=1\) for GSM8K-7K, we default to utilizing \(m=1\) for other datasets in Tab. 1. We also explore the impact of adding attention masking at the masked positions within each transformer layer, beyond just the input masking. We find that its effectiveness is on par with using input masking alone.
r=1\)을 사용하여 MaskedLM으로 모델을 학습할 때, 모델은 현재 컨텍스트와 관련이 없는 임의의 토큰을 만나게 되며, 이러한 토큰의 의미를 무시하게 되는데, 이는 [mask]의 역할과 유사합니다. 표 3의 실험에서 \(r=1\)은 \(m=1\)보다 약간 더 높은 결과를 산출합니다. r=1\)은 \(m=1\)에 비해 더 높은 수준의 무작위성을 보여주지만, 과적합을 더 잘 완화할 수 있는 잠재력을 가지고 있습니다. 그러나 평균적으로 더 큰 데이터 세트의 경우 \(r=1\)과 \(m=1\)의 차이는 미미합니다. GSM8K-7K에 \(r=1\)을 사용하는 것을 제외하고, 다른 데이터 세트에서는 표 1에서 기본적으로 \(m=1\)을 사용합니다. 또한 입력 masking 외에도 각 Transformer 레이어 내의 masking된 위치에 attention masking을 추가하는 것의 영향도 살펴봅니다. 그 결과, 입력 masking만 사용하는 것과 비슷한 수준의 효과가 있음을 확인했습니다.
r=1\)을 사용하여 MaskedLM으로 모델을 학습할 때, 모델은 현재 컨텍스트와 관련이 없는 임의의 토큰을 만나게 되며, 이러한 토큰의 의미를 무시하게 되는데, 이는 [마스크]의 역할과 유사합니다. 표 3의 실험에서 \(r=1\)은 \(m=1\)보다 약간 더 높은 결과를 산출합니다. r=1\)은 \(m=1\)에 비해 더 높은 수준의 무작위성을 보여주지만, 과적합을 더 잘 완화할 수 있는 잠재력을 가지고 있습니다. 그러나 평균적으로 더 큰 데이터 세트의 경우 \(r=1\)과 \(m=1\)의 차이는 미미합니다. GSM8K-7K에 \(r=1\)을 사용하는 것을 제외하고, 다른 데이터 세트에서는 표 1에서 기본적으로 \(m=1\)을 사용합니다. 또한 입력 마스킹 외에도 각 트랜스포머 레이어 내의 마스킹된 위치에 주의 마스킹을 추가하는 것의 영향도 살펴봅니다. 그 결과, 입력 마스킹만 사용하는 것과 비슷한 수준의 효과가 있음을 확인했습니다.