Even more recently Ethayarajh et al. proposed a new alignment approach called the Kahneman-Tversky Optimization (KTO) [136]. Unlike existing state-of-the-art approaches, KTO does not require paired preference data (\(x\), \(y_{w}\), \(y_{l}\)), and it only needs (x,y) and knowledge of whether \(y\) is desirable or undesirable. KTO-aligned models are shown to be good or better than DPO-aligned models at scales from 1B to 30B, despite not using paired preferences. KTO is also far easier to use in the real world than preference optimization methods, as the kind of data it needs is far more abundant. As an example, every retail company has a lot of customer interaction data and whether that interaction was successful (e.g., purchase made) or unsuccessful (e.g., no purchase made). However, They have little to no counterfactual data (i.e., what would have made an unsuccessful customer interaction \(y_{l}\) into a successful one \(y_{w}\)). Fig 31 shows a high-level comparison between KTO and other alignment approaches discussed above.
더 최근에 Ethayarajh 등은 Kahneman-Tversky Optimization (KTO)라는 새로운 정렬 접근 방식을 제안했습니다[136]. 기존의 최첨단 접근 방식과 달리 KTO는 쌍을 이룬 선호도 데이터(\(x\), \(y_{w}\), \(y_{l}\))가 필요하지 않으며, (x,y)와 \(y\)가 바람직한지 바람직하지 않은지에 대한 지식만 필요합니다. KTO-aligned 모델은 쌍을 이룬 선호도를 사용하지 않음에도 불구하고 1B에서 30B 규모에서 DPO-aligned 모델보다 더 좋거나 좋은 것으로 나타났습니다. 또한 KTO는 필요한 데이터의 종류가 훨씬 풍부하기 때문에 실제 환경에서 preference optimization 방법보다 훨씬 더 쉽게 사용할 수 있습니다. 예를 들어, 모든 소매 회사는 많은 고객 상호 작용 데이터와 그 상호 작용이 성공적(예: 구매)이었는지 실패적(예: 구매하지 않음)이었는지에 대한 데이터를 보유하고 있습니다. 그러나 그들은 어떤 데이터도 가지고 있지 않습니다(즉, 실패한 고객 상호 작용 \(y_{l}\)을 성공한 상호 작용 \(y_{w}\)으로 만드는 데 어떤 것이 도움이 되었을까요?). 그림 31은 위에서 논의한 다른 정렬 접근 방식과 KTO를 간단히 비교한 것입니다.
더 최근에 Ethayarajh 등은 Kahneman-Tversky 최적화(KTO)라는 새로운 정렬 접근 방식을 제안했습니다[136]. 기존의 최첨단 접근 방식과 달리 KTO는 쌍을 이룬 선호도 데이터(\(x\), \(y_{w}\), \(y_{l}\))가 필요하지 않으며, (x,y)와 \(y\)가 바람직한지 바람직하지 않은지에 대한 지식만 필요합니다. KTO 정렬 모델은 쌍을 이룬 선호도를 사용하지 않음에도 불구하고 1B에서 30B 규모에서 DPO 정렬 모델보다 더 좋거나 좋은 것으로 나타났습니다. 또한 KTO는 필요한 데이터의 종류가 훨씬 풍부하기 때문에 실제 환경에서 선호도 최적화 방법보다 훨씬 더 쉽게 사용할 수 있습니다. 예를 들어, 모든 소매 회사는 많은 고객 상호 작용 데이터와 그 상호 작용이 성공적(예: 구매)이었는지 실패적(예: 구매하지 않음)이었는지에 대한 데이터를 보유하고 있습니다. 그러나 그들은 어떤 데이터도 가지고 있지 않습니다(즉, 실패한 고객 상호 작용 \(y_{l}\)을 성공한 상호 작용 \(y_{w}\)으로 만드는 데 어떤 것이 도움이 되었을까요?). 그림 31은 위에서 논의한 다른 정렬 접근 방식과 KTO를 간단히 비교한 것입니다.