Several recent studies have explored the optimization of human preference without relying on learning a reward function. For instance, Direct Preference Optimization (DPO) Rafailov et al. (2023) refines the policy through a loss function constructed using the Bradley-Terry reward model. Identity Policy Optimization (IPO) Azar et al. (2023) suggests a direct optimization of pairwise human preferences using preference data. Unlike DPO, IPO does not assume a reward model. Kahneman-Tversky Optimization (KTO) Ethayarajh et al. (2024) proposes utilizing solely whether a given output is desirable or undesirable for a given input to align the model with human preferences.
최근의 여러 연구에서는 보상 함수를 학습하는 것에 의존하지 않고도 인간의 선호도를 최적화하는 방법을 모색하고 있습니다. 예를 들어, Direct Preference Optimization (DPO) Rafailov et al. (2023)은 Bradley-Terry 보상 모델을 사용하여 구성된 Loss 함수를 통해 정책을 구체화합니다. Identity Policy Optimization (IPO) Azar et al. (2023)은 선호도 데이터를 사용하여 쌍별 인간 선호도를 직접 최적화할 수 있도록 제안합니다. DPO와 달리 IPO는 보상 모델을 가정하지 않습니다. Kahneman-Tversky Optimization (KTO) Ethayarajh et al. (2024)는 주어진 입력에 대해 주어진 출력이 바람직한지 아닌지를 활용하여 모델을 인간의 선호도에 맞추는 것을 제안합니다.
최근의 여러 연구에서는 보상 함수를 학습하는 것에 의존하지 않고도 인간의 선호도를 최적화하는 방법을 모색하고 있습니다. 예를 들어, 직접 선호도 최적화(DPO) Rafailov et al. (2023)은 브래들리-테리 보상 모델을 사용하여 구성된 손실 함수를 통해 정책을 구체화합니다. 아이덴티티 정책 최적화(IPO) Azar et al. (2023)은 선호도 데이터를 사용하여 쌍별 인간 선호도를 직접 최적화할 수 있도록 제안합니다. DPO와 달리 IPO는 보상 모델을 가정하지 않습니다. 카네만-트버스키 최적화(KTO) Ethayarajh et al. (2024)는 주어진 입력에 대해 주어진 출력이 바람직한지 아닌지를 활용하여 모델을 인간의 선호도에 맞추는 것을 제안합니다.