**Evaluation.** Assessing how well LLMs follow instructions is complex, arising from the fact that an instruction has various valid responses, and the challenge of replicating human evaluation. Recent advances in automatic evaluation on instruction following Dubois et al. (2023); Zheng et al. (2023) demonstrate that LLM-based evaluators are scalable, explainable, and consistent with human evaluations. Therefore, we adopt widely-used Vicuna pairwise evaluator Chiang et al. (2023) based on ChatGPT to compare the response quality from two LLMs for its accessibility in price and efficiency. The evaluation prompt template is in Figure 12, Appendix A.9. We include GPT-4 based evaluation results in Appendix A.6 to demonstrate the consistency of LLM-based evaluators. To mitigate position bias that the LLM evaluator may have, we conduct every evaluation twice by exchanging response orders. A response is considered better only if it wins twice. Following Chen et al. (2023), we set the temperature to 0.0 to reduce evaluation randomness, and left other parameters as default.
**Evaluation**. LLM이 Instruction을 얼마나 잘 따르는지 평가하는 것은 Instruction에 유효한 응답이 다양하고 인간의 평가를 복제하는 것이 어렵다는 사실에서 비롯된 복잡한 문제입니다. 최근의 Instruction에 따른 자동 평가의 발전 Dubois et al. (2023); Zheng et al. (2023)은 LLM 기반 평가자가 확장 가능하고, 설명 가능하며, 인간 평가와 일치한다는 것을 보여줍니다. 따라서 가격과 효율성 측면에서 접근성을 높이기 위해 널리 사용되는 Vicuna 쌍별 평가기 Chiang et al. (2023)을 채택하여 두 LLM의 응답 품질을 비교합니다. 평가 프롬프트 템플릿은 그림 12, 부록 A.9에 나와 있습니다. LLM 기반 평가자의 일관성을 입증하기 위해 부록 A.6에 GPT-4 기반 평가 결과를 포함했습니다. LLM 평가자가 가질 수 있는 위치 편향을 완화하기 위해 응답 순서를 교환하여 모든 평가를 두 번 실시합니다. 응답이 두 번 이기면 더 나은 응답으로 간주합니다. Chen et al. (2023)에 따라 평가 무작위성을 줄이기 위해 온도를 0.0으로 설정하고 다른 매개변수는 기본값으로 설정했습니다.
**평가**. LLM이 명령을 얼마나 잘 따르는지 평가하는 것은 명령에 유효한 응답이 다양하고 인간의 평가를 복제하는 것이 어렵다는 사실에서 비롯된 복잡한 문제입니다. 최근의 지시에 따른 자동 평가의 발전 Dubois et al. (2023); Zheng et al. (2023)은 LLM 기반 평가자가 확장 가능하고, 설명 가능하며, 인간 평가와 일치한다는 것을 보여줍니다. 따라서 가격과 효율성 측면에서 접근성을 높이기 위해 널리 사용되는 Vicuna 쌍별 평가기 Chiang et al. (2023)을 채택하여 두 LLM의 응답 품질을 비교합니다. 평가 프롬프트 템플릿은 그림 12, 부록 A.9에 나와 있습니다. LLM 기반 평가자의 일관성을 입증하기 위해 부록 A.6에 GPT-4 기반 평가 결과를 포함했습니다. LLM 평가자가 가질 수 있는 위치 편향을 완화하기 위해 응답 순서를 교환하여 모든 평가를 두 번 실시합니다. 응답이 두 번 이기면 더 나은 응답으로 간주합니다. Chen et al. (2023)에 따라 평가 무작위성을 줄이기 위해 온도를 0.0으로 설정하고 다른 매개변수는 기본값으로 설정했습니다.