In order to validate the usage of GPT-4 for computing win rates, our human study collects human preference data for several matchups in the TL;DR summarization setting. We select three different algorithmic matchups, evaluating DPO (temp. 0.25), SFT (temp. 0.25), and PPO (temp 1.0) compared to the reference algorithm PPO (temp 0.). By selecting matchups for three unique algorithms as well as algorithms with a wide range of win rates vs the reference, we capture the similarity of human and GPT-4 win rates across the response quality spectrum. We sample 150 random comparisons of DPO vs PPO-0 and 100 random comparisons PPO-1 vs PPO-0, assigning two humans to each comparison, producing 275 judgments for DPO-PPO7 and 200 judgments for PPO-PPO. We sample 125 SFT comparisons, assigning a single human to each. We ignore judgments that humans labeled as ties (which amount to only about 1% of judgments), and measure the raw agreement percentage between human A and human B (for comparisons where we have two human annotators, i.e., not SFT) as well as between each human and GPT-4.
GPT-4를 사용하여 승률을 계산하는 방법의 유효성을 검증하기 위해, 우리의 인간 연구는 TL;DR 요약 설정에서 여러 매치업에 대한 인간 선호 데이터를 수집합니다. 우리는 DPO (온도 0.25), SFT (온도 0.25), 그리고 PPO (온도 1.0)를 기준 알고리즘인 PPO (온도 0.0)와 비교하여 세 가지 다른 알고리즘 매치업을 선택합니다. 세 가지 고유한 알고리즘과 기준 알고리즘에 비해 다양한 승률을 가진 알고리즘을 선택함으로써, 우리는 응답 품질 스펙트럼 전반에 걸쳐 인간과 GPT-4의 승률 유사성을 포착합니다. 우리는 DPO와 PPO-0의 150개의 무작위 비교와 PPO-1과 PPO-0의 100개의 무작위 비교를 샘플링하여 각 비교에 두 명의 인간을 할당하고, DPO-PPO7에 대해 275개의 판단과 PPO-PPO에 대해 200개의 판단을 생성합니다. 우리는 125개의 SFT 비교를 샘플링하여 각 비교에 한 명의 인간을 할당합니다. 인간이 동점으로 표시한 판단(전체 판단의 약 1%에 불과함)은 무시하고, 인간 A와 인간 B 간의 원시 일치 비율(두 명의 인간 주석자가 있는 비교, 즉 SFT가 아닌 경우) 및 각 인간과 GPT-4 간의 원시 일치 비율을 측정합니다.
승률 계산에 GPT-4를 사용하기 위해 인간 연구에서는 TL;DR 요약 설정에서 여러 매치업에 대한 인간 선호도 데이터를 수집합니다. 세 가지 알고리즘 매치업을 선택하여 기준 알고리즘인 PPO(온도 0)와 비교하여 DPO(온도 0.25), SFT(온도 0.25), PPO(온도 1.0)를 평가합니다. 세 가지 고유한 알고리즘과 기준 알고리즘 대비 승률이 다양한 알고리즘의 매치업을 선택함으로써 응답 품질 스펙트럼 전반에서 인간과 GPT-4의 승률 유사성을 포착합니다. DPO 대 PPO-0의 무작위 비교 150개와 PPO-1 대 PPO-0의 무작위 비교 100개를 샘플링하여 각 비교에 두 명의 인간을 할당하여 DPO-PPO7에 대해 275개의 판단을 내리고 PPO-PPO에 대해 200개의 판단을 내립니다. SFT 비교 125개를 샘플링하여 각 비교에 단일 인간을 할당합니다. 인간이 동점으로 표시한 판단(판단의 약 1%에 불과)은 무시하고, 인간 A와 인간 B 간의 원시 일치 비율(두 명의 인간 주석가가 있는 비교, 즉 SFT가 아닌 비교)과 각 인간과 GPT-4 간의 일치 비율을 측정합니다.