Fig. 31: LLM alignment involves supervised finetuning followed by optimizing a human-centered loss (HALO). However, the paired preferences that existing approaches need are hard-to-obtain. In contrast, KTO uses a far more abundant kind of data, making it much easier to use in the real world. Courtesy of [136].
그림 31: LLM alignment에는 Supervised Fine-tuning과 인간 중심 Loss (HALO) 최적화가 포함됩니다. 그러나 기존 접근 방식에 필요한 짝을 이룬 선호도는 획득하기 어렵습니다. 반면, KTO는 훨씬 더 풍부한 종류의 데이터를 사용하므로 실제 환경에서 훨씬 쉽게 사용할 수 있습니다. [136]의 덕분입니다.
그림 31: LLM 정렬에는 지도 미세 조정과 인간 중심 손실(HALO) 최적화가 포함됩니다. 그러나 기존 접근 방식에 필요한 짝을 이룬 선호도는 획득하기 어렵습니다. 반면, KTO는 훨씬 더 풍부한 종류의 데이터를 사용하므로 실제 환경에서 훨씬 쉽게 사용할 수 있습니다. [136]의 덕분입니다.