In the main paper, we use ChatGPT as the LLM judge for final evaluation, for its efficiency, price and accessibility for the community to reproduce our results. As pointed out in Chiang et al. (2023), LLMs evaluators, although largely consistent with human preferences, may have their own biases. Therefore, to make sure our experimental results are solid, we also use GPT-4 as the judge and compare against the performance gap in CRR between different baselines and the Self-Instruct method. The comparison results in Table 6 demonstrates the agreement of two LLM-based judges and confirms the superior performance of CodecLM against comparing methods.
본 논문에서는 최종 평가를 위해 ChatGPT를 LLM 심사자로 사용합니다. 이는 효율성, 가격, 그리고 커뮤니티가 우리의 결과를 재현할 수 있는 접근성 때문입니다. Chiang et al. (2023)에서 지적한 바와 같이, LLM 평가자는 인간의 선호와 대체로 일치하지만, 자체적인 편향을 가질 수 있습니다. 따라서 우리의 실험 결과가 확고함을 보장하기 위해, 우리는 또한 GPT-4를 심사자로 사용하고, 다양한 기준선과 Self-Instruct 방법 간의 CRR 성능 차이를 비교합니다. 표 6의 비교 결과는 두 LLM 기반 심사자의 일치를 보여주며, CodecLM의 비교 방법들에 대한 우수한 성능을 확인합니다.
본 논문에서는 효율성, 가격, 커뮤니티가 결과를 재현할 수 있는 접근성을 고려하여 최종 평가를 위한 LLM 심사위원으로 ChatGPT를 사용합니다. Chiang 외(2023)에서 지적한 바와 같이, LLM 평가자는 대체로 사람의 선호도와 일치하지만, 그들만의 편견을 가지고 있을 수 있습니다. 따라서 실험 결과의 견고성을 확보하기 위해 GPT-4를 심사위원으로 사용하고 다른 베이스라인과 Self-Instruct 방법 간의 CRR 성능 차이를 비교했습니다. 표 6의 비교 결과는 두 LLM 기반 심사위원의 일치성을 보여주며, 비교 방법에 비해 CodecLM의 우수한 성능을 확인시켜 줍니다.