Based on this observation, we primarily utilize [mask] as \(n_{i}\) due to its ability to effectively remove the semantics at the corresponding positions, and it is also easy to implement. Additionally, we observe that employing an exceptionally large \(\alpha\) for the aforementioned continuous noise Uniform\((-\frac{\alpha}{c},\frac{\alpha}{c})\) or replacing the original token with another token uniformly sampled from the vocabulary, yields similar effects.
이 관찰을 바탕으로, 우리는 주로 해당 위치에서 의미를 효과적으로 제거하는 능력으로 인해 [mask]를 \(n_{i}\)로 활용하며, 구현하기도 쉽다. 또한, 앞서 언급한 연속적인 노이즈 Uniform\((-\frac{\alpha}{c},\frac{\alpha}{c})\)에 대해 매우 큰 \(\alpha\)를 사용하거나 원래 token을 어휘에서 균일하게 샘플링한 다른 token으로 대체하는 것도 유사한 효과를 가져온다는 것을 관찰했다.
이 관찰을 바탕으로, 우리는 주로 해당 위치에서 의미를 효과적으로 제거하는 능력으로 인해 [마스크]를 \(n_{i}\)로 활용하며, 구현하기도 쉽다. 또한, 앞서 언급한 연속적인 노이즈 유니폼\((-\frac{\알파}{c},\frac{\알파}{c})\)에 대해 매우 큰 \(\알파\)를 사용하거나 원래 토큰을 어휘에서 균일하게 샘플링한 다른 토큰으로 대체하는 것도 유사한 효과를 가져온다는 것을 관찰했다.