a given next-token prediction receive a gradient from that prediction--a consequence of our parallel sampling strategy. We could address this by adding loss terms for future tokens by sampling the tokens before. However this would result in much higher entropy for language modeling in general and lower-quality generated text, because it would train the LM to partially disregard its preceding tokens. Instead, we use the parallel attention mask to compute the log probabilities of the true next tokens, applying teacher forcing by assuming the model selected the correct next ground-truth token (as implicit in normal language modeling with transformers). Note that the loss for each future token also depends on a mixing weight computed from the end thought token and the previous observed token. The number of future tokens included in the loss is a hyper-parameter. We apply the same teacher-forcing technique to insert the start and end tokens. We visualize this procedure in Figure 4.
주어진 다음 토큰 예측은 해당 예측에서 gradient를 수신합니다(병렬 샘플링 전략의 결과). 이 문제를 해결하려면 이전 토큰을 샘플링하여 미래 토큰에 대한 loss 항을 추가하면 됩니다. 그러나 이렇게 하면 LM이 이전 토큰을 부분적으로 무시하도록 훈련하기 때문에 일반적으로 언어 모델링의 entropy가 훨씬 더 높아지고 생성된 텍스트의 품질이 떨어집니다. 대신 병렬 attention mask를 사용하여 실제 다음 토큰의 로그 확률을 계산하고, 모델이 올바른 다음 ground-truth token을 선택했다고 가정하여 teacher forcing을 적용합니다(일반적인 Transformer를 사용한 언어 모델링에 암시된 대로). 각 미래 토큰의 loss는 또한 끝 생각 토큰과 이전에 관찰된 토큰에서 계산된 혼합 가중치에 따라 달라집니다. loss에 포함되는 미래 토큰의 수는 hyper-parameter입니다. 시작 토큰과 끝 토큰을 삽입하기 위해 동일한 teacher forcing 기법을 적용합니다. 이 절차를 그림 4에 시각화했습니다.
주어진 다음 토큰 예측은 해당 예측에서 그라디언트를 수신합니다(병렬 샘플링 전략의 결과). 이 문제를 해결하려면 이전 토큰을 샘플링하여 미래 토큰에 대한 손실 항을 추가하면 됩니다. 그러나 이렇게 하면 LM이 이전 토큰을 부분적으로 무시하도록 훈련하기 때문에 일반적으로 언어 모델링의 엔트로피가 훨씬 더 높아지고 생성된 텍스트의 품질이 떨어집니다. 대신 병렬 주의 마스크를 사용하여 실제 다음 토큰의 로그 확률을 계산하고, 모델이 올바른 다음 지상 실측 토큰을 선택했다고 가정하여 교사 강제를 적용합니다(일반적인 트랜스포머를 사용한 언어 모델링에 암시된 대로). 각 미래 토큰의 손실은 또한 끝 생각 토큰과 이전에 관찰된 토큰에서 계산된 혼합 가중치에 따라 달라집니다. 손실에 포함되는 미래 토큰의 수는 하이퍼 파라미터입니다. 시작 토큰과 끝 토큰을 삽입하기 위해 동일한 교사 강제 기법을 적용합니다. 이 절차를 그림 4에 시각화했습니다.