the data-matched baseline, showing that in the data-bound case, reverse training even helps on standard tasks. In the compute-matched case, where the baseline has effectively access to more data, reversal training lags slightly behind for 5, 10 samples. Importantly, in both the data-matched and compute-matched case we see significant improvement in the reverse direction questions for reverse training compared to either baseline. This demonstrates that reverse training can be employed during the pre-training stage to make the model robust against the reversal curse.
데이터 매칭 baseline을 보면 데이터 바인딩된 경우 reverse training이 표준 작업에도 도움이 된다는 것을 알 수 있습니다. baseline이 효과적으로 더 많은 데이터에 액세스할 수 있는 compute-matched 사례에서는 5, 10개의 샘플에 대해 reverse training이 약간 뒤처집니다. 중요한 것은 데이터 매칭과 compute-matched 모두에서 baseline에 비해 reverse training의 역 방향 질문이 크게 개선되었다는 것입니다. 이는 pre-training 단계에서 reverse training을 사용하여 모델을 reversal curse에 대해 robust하게 만들 수 있음을 보여줍니다.
데이터 매칭 기준선을 보면 데이터 바인딩된 경우 역 훈련이 표준 작업에도 도움이 된다는 것을 알 수 있습니다. 기준선이 효과적으로 더 많은 데이터에 액세스할 수 있는 계산 매칭 사례에서는 5, 10개의 샘플에 대해 역 훈련이 약간 뒤처집니다. 중요한 것은 데이터 매칭과 계산 매칭 모두에서 기준선에 비해 역 훈련의 역 방향 질문이 크게 개선되었다는 것입니다. 이는 사전 학습 단계에서 역 훈련을 사용하여 모델을 역전의 저주에 대해 견고하게 만들 수 있음을 보여줍니다.