**RR** proposed using autoregressive reward models in discussions with **EM**; derived the DPO objective; proved the theoretical properties of the algorithm and wrote the relevant sections and appendices. He also suggested and helped with organizing experiments and contributed some of the PPO and reward learning baselines.
**RR**은 **EM**과의 논의에서 autoregressive reward 모델 사용을 제안하고, DPO objective를 도출하고, 알고리즘의 이론적 특성을 증명하고 관련 섹션과 부록을 작성했습니다. 또한 실험을 조직하고 일부 PPO 및 reward learning baseline을 제안하고 기여했습니다.
**RR**은 **EM**과의 논의에서 자동 회귀 보상 모델 사용을 제안하고, DPO 목표를 도출하고, 알고리즘의 이론적 특성을 증명하고 관련 섹션과 부록을 작성했습니다. 또한 실험을 조직하고 일부 PPO 및 보상 학습 베이스라인을 제안하고 기여했습니다.