* **Tulu 2+DPO:****Tulu 2 further trained with DPO on the UltraFeedback dataset** **(**Cui et al.**,** 2023**)****.
* **Tulu 2+DPO:** **Tulu 2는 UltraFeedback 데이터셋에서 DPO로 추가 훈련되었습니다** **(**Cui et al.**,** 2023**)**.
* **툴루 2+DPO:****툴루 2는 UltraFeedback 데이터 세트에서 DPO로 추가 훈련됨** **(**Cui et al.**,** 2023**)****.