This framework is compatible with many commonly used regularization methods. For instance, adding continuous noise to the vectors of all input tokens in both the target and source [15], where \(n_{i}\) follows a Uniform distribution ranging from \(-\frac{\alpha}{c}\) to \(\frac{\alpha}{c}\), and \(M_{i}\) is set to 1. In another approach, scheduled sampling, the model receives its own prediction from the previous time step as input with a probability \(p\), here \(n_{i}\) represents the predicted token, and \(M_{i}\) follows a Bernoulli distribution with parameter \(p\)[12].
이 프레임워크는 일반적으로 사용되는 많은 정규화 방법과 호환됩니다. 예를 들어, 대상과 소스 모두에 있는 모든 입력 토큰의 벡터에 연속적인 노이즈를 추가하는 경우[15], 여기서 \(n_{i}\)는 \(-\frac{\alpha}{c}\)에서 \(\frac{\alpha}{c}\) 범위의 Uniform distribution을 따르고, \(M_{i}\)는 1로 설정됩니다. 또 다른 접근 방식인 scheduled sampling에서 모델은 이전 시간 단계에서 자신의 예측을 입력으로 받는데, 여기서 \(n_{i}\)는 예측된 토큰을 나타내고, \(M_{i}\)는 파라미터 \(p\)를 가진 Bernoulli distribution을 따릅니다[12].
이 프레임워크는 일반적으로 사용되는 많은 정규화 방법과 호환됩니다. 예를 들어, 대상과 소스 모두에 있는 모든 입력 토큰의 벡터에 연속적인 노이즈를 추가하는 경우[15], 여기서 \(n_{i}\)는 \(-\frac{\alpha}{c}\)에서 \(\frac{\alpha}{c}\) 범위의 균등 분포를 따르고, \(M_{i}\)는 1로 설정됩니다. 또 다른 접근 방식인 예정된 샘플링에서 모델은 이전 시간 단계에서 자신의 예측을 입력으로 받는데, 여기서 \(n_{i}\)는 예측된 토큰을 나타내고, \(M_{i}\)는 파라미터 \(p\)를 가진 베르누이 분포를 따릅니다[12].