\(\bullet\)_Benchmark based evaluation procedure._ To perform the benchmark evaluation, each problem will first be formatted into a prompt for LLMs to generate the result text. Then, the generated result text will be parsed with human-written rules to get the predicted answer. Finally, the performance of LLMs can be automatically calculated using standard metrics like accuracy by comparing the predicted answer with the ground-truth one. The evaluation approach can be conducted in either the few-shot or zero-shot setting, which might lead to different evaluation results or rankings. Since base LLMs have not been instruction fine-tuned (with relatively weak task generalization ability), the few-shot setting is often more suitable for evaluation. For some complex reasoning tasks, CoT prompts also need to be used to fully exhibit the capacity during evaluation. Another note is that this evaluation approach can also be applied to assess the abilities of fine-tuned LLMs. Actually, several leaderboards (_e.g._, Open LLM Leaderboard [707]) are built upon this approach, evaluating both base and fine-tuned LLMs.
\(\bullet\)_Benchmark based evaluation procedure._ 벤치마크 평가를 수행하기 위해 각 문제는 먼저 LLM이 결과 텍스트를 생성할 수 있도록 프롬프트로 포맷됩니다. 그런 다음, 생성된 결과 텍스트를 사람이 작성한 규칙으로 구문 분석하여 예측된 답을 얻습니다. 마지막으로, 예측된 답과 실측 답을 비교하여 정확도와 같은 표준 메트릭을 사용하여 LLM의 성능을 자동으로 계산할 수 있습니다. 평가 접근 방식은 few-shot 또는 zero-shot 설정으로 수행할 수 있으며, 이에 따라 평가 결과 또는 순위가 달라질 수 있습니다. 기본 LLM은 Instruction Fine-tuning을 거치지 않았기 때문에(상대적으로 약한 작업 일반화 능력) few-shot 설정이 평가에 더 적합한 경우가 많습니다. 일부 복잡한 추론 작업의 경우, 평가 중에 용량을 완전히 발휘하기 위해서는 CoT 프롬프트를 사용해야 할 때도 있습니다. 또 다른 점은 이 평가 접근 방식이 Fine-tuned LLM의 능력을 평가하는 데에도 적용될 수 있다는 것입니다. 실제로 여러 리더보드(예: Open LLM Leaderboard [707])가 이 접근 방식을 기반으로 구축되어 기본 LLM과 Fine-tuned LLM을 모두 평가하고 있습니다.
\(\bullet\)_벤치마크 기반 평가 절차._ 벤치마크 평가를 수행하기 위해 각 문제는 먼저 LLM이 결과 텍스트를 생성할 수 있도록 프롬프트로 포맷됩니다. 그런 다음, 생성된 결과 텍스트를 사람이 작성한 규칙으로 구문 분석하여 예측된 답을 얻습니다. 마지막으로, 예측된 답과 실측 답을 비교하여 정확도와 같은 표준 메트릭을 사용하여 LLM의 성능을 자동으로 계산할 수 있습니다. 평가 접근 방식은 몇 개의 샷 또는 제로 샷 설정으로 수행할 수 있으며, 이에 따라 평가 결과 또는 순위가 달라질 수 있습니다. 기본 LLM은 명령 미세 조정을 거치지 않았기 때문에(상대적으로 약한 작업 일반화 능력) 몇 개의 샷 설정이 평가에 더 적합한 경우가 많습니다. 일부 복잡한 추론 작업의 경우, 평가 중에 용량을 완전히 발휘하기 위해서는 CoT 프롬프트를 사용해야 할 때도 있습니다. 또 다른 점은 이 평가 접근 방식이 미세 조정된 LLM의 능력을 평가하는 데에도 적용될 수 있다는 것입니다. 실제로 여러 리더보드(예: Open LLM 리더보드 [707])가 이 접근 방식을 기반으로 구축되어 기본 LLM과 미세 조정된 LLM을 모두 평가하고 있습니다.