Both forward and reversed training samples are shuffled together so that training batches can contain random (unpaired) examples of both types. In our experiments, we perform reverse training at both the pre-training and finetuning stages, but also ablate these variants to analyze their impact.
전방 및 역방향 훈련 샘플은 모두 함께 셔플되어 훈련 배치에 두 유형의 무작위(페어링되지 않은) 예제가 포함될 수 있도록 한다. 실험에서는 사전 훈련 및 Fine-tuning 단계 모두에서 역 훈련을 수행하지만, 이러한 변형을 제거하여 그 영향을 분석한다.
전방 및 역방향 훈련 샘플은 모두 함께 셔플되어 훈련 배치에 두 유형의 무작위(페어링되지 않은) 예제가 포함될 수 있도록 한다. 실험에서는 사전 훈련 및 미세 조정 단계 모두에서 역 훈련을 수행하지만, 이러한 변형을 제거하여 그 영향을 분석한다.