We conduct a human study to verify the reliability of GPT-4's judgments, using the results of the TL:DR summarization experiment and two different GPT-4 prompts. The **GPT-4 (S)** (simple) prompt simply asks for which summary better-summarizes the important information in the post. The **GPT-4 (C)** (concise) prompt also asks for which summary is more concise; we evaluate this prompt because we find that GPT-4 prefers longer, more repetitive summaries than humans do with the **GPT-4 (S)** prompt. See Appendix C.2 for the complete prompts. We perform three comparisons, using the highest (DPO, temp. middle-performing (SFT, temp. 0.25) method with the aim of covering a diversity of sample qualities; all three methods are compared against greedily-sampled PPO (its best-performing temperature). We find that with both prompts, GPT-4 tends to agree with humans about as often as humans agree with each other, suggesting that GPT-4 is a reasonable proxy for human evaluations (due to limited human raters, we only collect multiple human judgments for the DPO and PPO-1 comparisons). Overall, the **GPT-4 (C)** prompt generally provides win rates more representative of humans; we therefore use this prompt for the main results in Section 6.2. For additional details about the human study, including the web interface presented to raters and the list of human volunteers, see Appendix D.3.
TL:DR 요약 실험의 결과와 두 가지 다른 GPT-4 prompts를 사용하여 GPT-4의 판단의 신뢰성을 검증하기 위해 인간 연구를 수행합니다. **GPT-4 (S)**(단순) prompt는 어떤 요약이 게시물의 중요한 정보를 더 잘 요약하는지 묻는 것입니다. **GPT-4 (C)**(간결) prompt는 어떤 요약이 더 간결한지 묻는 것으로, GPT-4가 **GPT-4 (S)** prompt에서 인간보다 더 길고 반복적인 요약을 선호하는 것을 발견하여 이 prompt를 평가합니다. 전체 prompts는 부록 C.2를 참조하세요. 다양한 샘플 품질을 다루기 위해 가장 높은(DPO, 온도 중간 성능(SFT, 온도 0.25) 방법과 욕심 샘플링된 PPO(최고 성능 온도)를 사용하여 세 가지 비교를 수행합니다. 두 prompts 모두에서 GPT-4는 인간이 서로 동의하는 빈도만큼 인간과 동의하는 경향이 있어 GPT-4가 인간 평가의 합리적인 대리자임을 시사합니다(인간 평가자가 제한되어 있기 때문에 DPO 및 PPO-1 비교에 대해서만 여러 인간의 판단을 수집했습니다). 전반적으로 **GPT-4 (C)** prompt는 일반적으로 인간을 더 대표하는 승률을 제공하므로 섹션 6.2의 주요 결과에는 이 prompt를 사용합니다. 평가자에게 제시된 웹 인터페이스와 인간 지원자 목록을 포함한 인간 연구에 대한 자세한 내용은 부록 D.3을 참조하세요.
TL:DR 요약 실험의 결과와 두 가지 다른 GPT-4 프롬프트를 사용하여 GPT-4의 판단의 신뢰성을 검증하기 위해 인간 연구를 수행합니다. GPT-4 (S)**(단순) 프롬프트는 어떤 요약이 게시물의 중요한 정보를 더 잘 요약하는지 묻는 것입니다. GPT-4 (C)**(간결) 프롬프트는 어떤 요약이 더 간결한지 묻는 것으로, GPT-4가 **GPT-4 (S)** 프롬프트에서 인간보다 더 길고 반복적인 요약을 선호하는 것을 발견하여 이 프롬프트를 평가합니다. 전체 프롬프트는 부록 C.2를 참조하세요. 다양한 샘플 품질을 다루기 위해 가장 높은(DPO, 온도 중간 성능(SFT, 온도 0.25) 방법과 욕심 샘플링된 PPO(최고 성능 온도)를 사용하여 세 가지 비교를 수행합니다. 두 프롬프트 모두에서 GPT-4는 인간이 서로 동의하는 빈도만큼 인간과 동의하는 경향이 있어 GPT-4가 인간 평가의 합리적인 대리자임을 시사합니다(인간 평가자가 제한되어 있기 때문에 DPO 및 PPO-1 비교에 대해서만 여러 인간의 판단을 수집했습니다). 전반적으로 **GPT-4 (C)** 프롬프트는 일반적으로 인간을 더 대표하는 승률을 제공하므로 섹션 6.2의 주요 결과에는 이 프롬프트를 사용합니다. 평가자에게 제시된 웹 인터페이스와 인간 지원자 목록을 포함한 인간 연구에 대한 자세한 내용은 부록 D.3을 참조하세요.