Concurrent to our work, Yuan et al. (2024) have developed an iterative framework for generating _new_ preference datasets and performing DPO training on the resulting datasets. They empirically demonstrated the superiority of their iterative framework in terms of AlpacaEval 2.0. In contrast, our work is complementary to the above in the sense that we focus on utilizing the _current_ preference data and does not undergo new data generation. Thus, our method can also be applied to Yuan et al. (2024) by changing the DPO training part to using sDPO instead. We leave the above combination as an interesting future work. Additionally, the evaluation used in Yuan et al. (2024) is also different to ours as we utilize tasks from Open LLM Leaderboard whereas Yuan et al. (2024) uses AlpacaEval 2.0.
우리의 연구와 동시에 Yuan 등(2024)은 _새로운_ 선호도 데이터 집합을 생성하고 결과 데이터 집합에 대해 DPO training을 수행하기 위한 반복 프레임워크를 개발했습니다. 이들은 AlpacaEval 2.0 측면에서 반복 프레임워크의 우월성을 경험적으로 입증했습니다. 이와 대조적으로, 우리의 연구는 _현재_ 선호도 데이터를 활용하는 데 초점을 맞추고 있으며 새로운 데이터 생성을 거치지 않는다는 점에서 위의 연구와 상호 보완적입니다. 따라서 우리의 방법은 DPO training 부분을 대신 sDPO를 사용하도록 변경하여 Yuan 등(2024)에도 적용할 수 있습니다. 위의 조합은 흥미로운 향후 작업으로 남겨두겠습니다. 또한, Yuan 등(2024)에서 사용된 평가는 Open LLM Leaderboard의 과제를 활용하는 반면, Yuan 등(2024)은 AlpacaEval 2.0을 사용하기 때문에 우리와 다릅니다.
우리의 연구와 동시에 Yuan 등(2024)은 _새로운_ 선호도 데이터 집합을 생성하고 결과 데이터 집합에 대해 DPO 훈련을 수행하기 위한 반복 프레임워크를 개발했습니다. 이들은 알파카이발 2.0 측면에서 반복 프레임워크의 우월성을 경험적으로 입증했습니다. 이와 대조적으로, 우리의 연구는 _현재_ 선호도 데이터를 활용하는 데 초점을 맞추고 있으며 새로운 데이터 생성을 거치지 않는다는 점에서 위의 연구와 상호 보완적입니다. 따라서 우리의 방법은 DPO 훈련 부분을 대신 sDPO를 사용하도록 변경하여 Yuan 등(2024)에도 적용할 수 있습니다. 위의 조합은 흥미로운 향후 작업으로 남겨두겠습니다. 또한, Yuan 등(2024)에서 사용된 평가는 Open LLM 리더보드의 과제를 활용하는 반면, Yuan 등(2024)은 AlpacaEval 2.0을 사용하기 때문에 우리와 다릅니다.