i.e., \(\pi(y\mid x)\) is a valid distribution (probabilities are positive and sum to 1). However, following Eq. 4, we can see that Eq. 9 is the partition function of the optimal policy induced by the reward function \(r(x,y)\). The key insight of the DPO algorithm is that we can impose certain constraints on the under-constrained Plackett-Luce (and Bradley-Terry in particular) family of preference models, such that we preserve the class of representable reward models, but explicitly make the optimal policy in Eq. 4 analytically tractable for all prompts \(x\).
즉, \(\pi(y\mid x)\)는 유효한 분포(확률은 양수이고 합계는 1)입니다. 그러나 식 4에 따라 식 9는 보상 함수 \(r(x,y)\)에 의해 유도된 최적 정책의 분할 함수임을 알 수 있습니다. DPO 알고리즘의 핵심 인사이트는 과소 제약된 Plackett-Luce(특히 Bradley-Terry) 선호도 모델에 특정 제약 조건을 부과하여 표현 가능한 보상 모델의 클래스를 보존하되, 모든 프롬프트 \(x\)에 대해 식 4의 최적 정책을 분석적으로 처리할 수 있도록 명시적으로 만드는 것입니다.
즉, \(\pi(y\mid x)\)는 유효한 분포(확률은 양수이고 합계는 1)입니다. 그러나 식 4에 따라 식 9는 보상 함수 \(r(x,y)\)에 의해 유도된 최적 정책의 분할 함수임을 알 수 있습니다. DPO 알고리즘의 핵심 인사이트는 과소 제약된 플라켓-루스(특히 브래들리-테리) 선호도 모델에 특정 제약 조건을 부과하여 표현 가능한 보상 모델의 클래스를 보존하되, 모든 프롬프트 \(x\)에 대해 식 4의 최적 정책을 분석적으로 처리할 수 있도록 명시적으로 만드는 것입니다.