Moreover, we mainly use LLM-based automatic evaluation methods following recent works in data synthesis for alignment. Although recent studies (Chiang et al., 2023; Dubois et al., 2023) demonstrate LLM-based evaluation is largely consistent with human evaluation, the scalability and reliability of LLM-based evaluators still have room for improvements. Although we include some standard benchmark results in Appendix A.7 to complement LLM-based evaluation results, we still believe the progress in better evaluating LLMs can lead to a more reliable demonstration of the effectiveness of our method.
또한, 우리는 주로 정렬을 위해 최근 데이터 합성 작업에 따른 LLM 기반 자동 평가 방법을 사용합니다. 최근 연구(Chiang et al., 2023; Dubois et al., 2023)에서는 LLM 기반 평가가 사람의 평가와 크게 일치한다는 것을 보여주지만, LLM 기반 평가자의 scalability와 reliability는 여전히 개선의 여지가 있습니다. LLM 기반 평가 결과를 보완하기 위해 부록 A.7에 일부 표준 benchmark 결과를 포함했지만, 여전히 LLM을 더 잘 평가하는 방향이 우리 방법의 효과를 더욱 신뢰할 수 있게 입증하는 데 도움이 될 수 있다고 생각합니다.
또한, 우리는 주로 정렬을 위해 최근 데이터 합성 작업에 따른 LLM 기반 자동 평가 방법을 사용합니다. 최근 연구(Chiang et al., 2023; Dubois et al., 2023)에서는 LLM 기반 평가가 사람의 평가와 크게 일치한다는 것을 보여주지만, LLM 기반 평가자의 확장성과 신뢰성은 여전히 개선의 여지가 있습니다. LLM 기반 평가 결과를 보완하기 위해 부록 A.7에 일부 표준 벤치마크 결과를 포함했지만, 여전히 LLM을 더 잘 평가하는 방향이 우리 방법의 효과를 더욱 신뢰할 수 있게 입증하는 데 도움이 될 수 있다고 생각합니다.