test dataset as the baseline. While existing studies suggest LMs can be better automated evaluators than existing metrics [10], we conduct a human study to justify our usage of GPT-4 for evaluation in Sec. 6.4. We find GPT-4 judgments correlate strongly with humans, with human agreement with GPT-4 typically similar or higher than inter-human annotator agreement.
기준선으로 테스트 데이터셋을 사용합니다. 기존 연구들은 LMs가 기존의 평가 지표보다 더 나은 자동 평가자가 될 수 있다고 제안하지만 [10], 우리는 Sec. 6.4에서 평가를 위해 GPT-4를 사용하는 것을 정당화하기 위해 인간 연구를 수행합니다. 우리는 GPT-4의 판단이 인간과 강하게 상관관계가 있으며, 인간이 GPT-4와 동의하는 정도가 일반적으로 인간 평가자 간의 동의 정도와 비슷하거나 더 높다는 것을 발견했습니다.
테스트 데이터 세트를 기준선으로 사용합니다. 기존 연구에서는 LM이 기존 메트릭보다 더 나은 자동화된 평가자가 될 수 있다고 제안하지만[10], 섹션 6.4에서 평가를 위해 GPT-4를 사용하는 것을 정당화하기 위해 인간 연구를 수행합니다. GPT-4의 판단은 일반적으로 인간과의 일치도가 높거나 높은 인간과의 일치도와 유사하거나 높은 인간과의 일치도를 보이는 등 GPT-4의 판단이 인간과 강한 상관관계가 있음을 발견했습니다.