**Reward Modelling Phase**: In the second phase the SFT model is prompted with prompts \(x\) to produce pairs of answers \((y_{1},y_{2})\sim\pi^{\text{SFT}}(y\mid x)\). These are then presented to human labelers who express preferences for one answer, denoted as \(y_{w}\succ y_{l}\mid x\) where \(y_{w}\) and \(y_{l}\) denotes the preferred and dispreferred completion amongst \((y_{1},y_{2})\) respectively. The preferences are assumed to be generated by some latent reward model \(r^{*}(y,x)\), which we do not have access to. There are a number of approaches used to model preferences, the Bradley-Terry (BT) [5] model being a popular choice (although more general Plackett-Luce ranking models [30; 21] are also compatible with the framework if we have access to several ranked answers).
**Reward Modelling Phase**: 두 번째 단계에서는 SFT 모델에 프롬프트 \(x\)를 제공하여 답변 쌍 \((y_{1},y_{2})\sim\pi^{\text{SFT}}(y\mid x)\)를 생성하도록 요청합니다. 그런 다음 이 쌍은 인간 레이블러에게 제시되며, 레이블러는 한 답변에 대한 선호도를 표현합니다(y_{w}\succ y_{l}\mid x로 표시됨), 여기서 \(y_{w}\)와 \(y_{l}\)는 각각 \((y_{1},y_{2})\) 중에서 선호 및 비선호 완성을 나타냅니다. 선호도는 우리가 접근할 수 없는 잠재적 보상 모델 \(r^{*}(y,x)\)에 의해 생성된 것으로 가정합니다. 선호도를 모델링하는 데 사용되는 다양한 접근 방식이 있으며, Bradley-Terry (BT) [5] 모델이 널리 사용되고 있습니다(여러 개의 순위가 매겨진 답변에 액세스할 수 있는 경우 Plackett-Luce ranking 모델 [30; 21]도 이 프레임워크와 호환됩니다).
**보상 모델링 단계**: 두 번째 단계에서는 SFT 모델에 프롬프트 \(x\)를 제공하여 답변 쌍 \((y_{1},y_{2})\sim\pi^{\text{SFT}}(y\mid x)\)를 생성하도록 요청합니다. 그런 다음 이 쌍은 인간 레이블러에게 제시되며, 레이블러는 한 답변에 대한 선호도를 표현합니다(y_{w}\succ y_{l}\mid x로 표시됨), 여기서 \(y_{w}\)와 \(y_{l}\)는 각각 \((y_{1},y_{2})\) 중에서 선호 및 비선호 완성을 나타냅니다. 선호도는 우리가 접근할 수 없는 잠재적 보상 모델 \(r^{*}(y,x)\)에 의해 생성된 것으로 가정합니다. 선호도를 모델링하는 데 사용되는 다양한 접근 방식이 있으며, 브래들리-테리(BT) [5] 모델이 널리 사용되고 있습니다(여러 개의 순위가 매겨진 답변에 액세스할 수 있는 경우 플라켓-루스 순위 모델 [30; 21]도 이 프레임워크와 호환됩니다).