Assisting human evaluation.Recent studies have shown that in many cases, synthetic judgements from large-scale LMs (LLMs) can serve as qualified, fast, and low-cost alternatives to actual human evaluation (Gilardi et al., 2023a). Using GPT-4 as the judge, Alpaca Eval (Li et al., 2023b) and MT Bench (Zheng et al., 2023) are two popular benchmarks that measure the comprehensive abilities of LM-based ChatBot. In coding tasks, synthetic environment is a common choice to aid human evaluation, as humans can make the assessment more efficiently via actual executions and analysis on running logs. Gu et al. (2024) propose CRUXEval, a code execution reasoning benchmark consisting of 800 Python functions generated by CodeLAMA-34B. Similarly, Liu et al. (2024a) introduce CodeMind, a framework to gauge the code reasoning abilities of LLMs on Independent Execution Reasoning (IER), Dependent Execution Reasoning (DER), and Specification Reasoning (SR). All these evaluations based on synthetic data show strong correlation with real human judgements.
인간 평가 지원. 최근 연구에 따르면 대규모 LLM의 합성 판단이 실제 인간 평가의 적격하고 빠르며 저렴한 대안이 될 수 있다는 사실이 밝혀졌습니다(Gilardi et al., 2023a). GPT-4를 심사자로 사용하는 Alpaca Eval(Li et al., 2023b)과 MT Bench(Zheng et al., 2023)는 LLM 기반 ChatBot의 종합적인 능력을 측정하는 두 가지 인기 있는 벤치마크입니다. 코딩 작업에서는 실제 실행과 실행 로그 분석을 통해 보다 효율적으로 평가할 수 있기 때문에 합성 환경이 인간 평가를 지원하는 데 일반적으로 선택됩니다. Gu 등(2024)은 CodeLAMA-34B에 의해 생성된 800개의 Python 함수로 구성된 코드 실행 추론 벤치마크인 CRUXEval을 제안합니다. 마찬가지로 Liu 등(2024a)은 Independent Execution Reasoning (IER), Dependent Execution Reasoning (DER), Specification Reasoning (SR)에 대한 LLM의 코드 추론 능력을 측정하기 위한 프레임워크인 CodeMind를 소개합니다. 합성 데이터를 기반으로 한 이러한 모든 평가는 실제 사람의 판단과 강한 상관관계를 보여줍니다.
인간 평가 지원.최근 연구에 따르면 대규모 LM(LLM)의 합성 판단이 실제 인간 평가의 적격하고 빠르며 저렴한 대안이 될 수 있다는 사실이 밝혀졌습니다(Gilardi et al., 2023a). GPT-4를 심사자로 사용하는 Alpaca Eval(Li et al., 2023b)과 MT Bench(Zheng et al., 2023)는 LM 기반 챗봇의 종합적인 능력을 측정하는 두 가지 인기 있는 벤치마크입니다. 코딩 작업에서는 실제 실행과 실행 로그 분석을 통해 보다 효율적으로 평가할 수 있기 때문에 합성 환경이 인간 평가를 지원하는 데 일반적으로 선택됩니다. Gu 등(2024)은 CodeLAMA-34B에 의해 생성된 800개의 파이썬 함수로 구성된 코드 실행 추론 벤치마크인 CRUXEval을 제안합니다. 마찬가지로 Liu 등(2024a)은 독립 실행 추론(IER), 종속 실행 추론(DER), 사양 추론(SR)에 대한 LLM의 코드 추론 능력을 측정하기 위한 프레임워크인 CodeMind를 소개합니다. 합성 데이터를 기반으로 한 이러한 모든 평가는 실제 사람의 판단과 강한 상관관계를 보여줍니다.