where \(\pi_{\text{ref}}\) is a pre-trained language (translation) model \(\sigma\) is the Sigmoid function, and \(\beta\) is a hyperparameter. DPO training can be conducted in a supervised fine-tuning style, as it relies exclusively on labeled preference data and does not require interaction between agents and their environment.
여기서 \(\pi_{\text{ref}}\)는 사전 학습된 언어(번역) 모델 \(\sigma\)는 Sigmoid 함수이고, \(\beta\)는 하이퍼파라미터입니다. DPO 학습은 레이블이 지정된 선호도 데이터에만 의존하고 에이전트와 환경 간의 상호 작용이 필요하지 않기 때문에 Supervised Fine-tuning 방식으로 수행할 수 있습니다.
여기서 \(\pi_{\text{ref}}\)는 사전 학습된 언어(번역) 모델 \(\sigma\)는 시그모이드 함수이고, \(\beta\)는 하이퍼파라미터입니다. DPO 학습은 레이블이 지정된 선호도 데이터에만 의존하고 에이전트와 환경 간의 상호 작용이 필요하지 않기 때문에 지도 미세 조정 방식으로 수행할 수 있습니다.