relies on an important assumption of \(\pi_{\text{ref}}=\pi_{w}\). Contrary to common practices where \(\pi_{\text{ref}}\) is set as the initial SFT checkpoint, our approach considers it as the ideal policy we aim to reach. Although the ideal policy \(\pi_{w}\) is unknown and unattainable during model training, it is not engaged in the loss after our approximation.
\(\pi_{\text{ref}}=\pi_{w}\)라는 중요한 가정에 의존합니다. 일반적으로 \(\pi_{\text{ref}}\)가 초기 Supervised Fine-tuning (SFT) 체크포인트로 설정되는 관행과는 달리, 우리의 접근 방식에서는 이를 도달하고자 하는 이상적인 정책으로 간주합니다. 이상적인 정책 \(\pi_{w}\)는 모델 학습 중에는 알 수 없고 달성할 수 없지만, 우리의 approximation 이후에는 loss에 포함되지 않습니다.
\(\pi_{\text{ref}}=\pi_{w}\)라는 중요한 가정에 의존합니다. 일반적으로 \(\pi_{\text{ref}}\)가 초기 SFT 체크포인트로 설정되는 관행과는 달리, 우리의 접근 방식에서는 이를 도달하고자 하는 이상적인 정책으로 간주합니다. 이상적인 정책 \(\pi_{w}\)는 모델 학습 중에는 알 수 없고 달성할 수 없지만, 우리의 근사치 이후에는 손실에 포함되지 않습니다.