Experimental Framework We used the popular LM-Evaluation-Harness (Gao et al., 2021) repository to evaluate the performance of LLMs on the selected knowledge-intensive tasks. LM-Evaluation-Harness is a robust benchmarking tool that currently serves as the industry standard for model evaluation and is the basis of the HuggingFace leaderboard3. Leveraging this platform ensured a standardized evaluation framework and allowed consistent comparison across models, methods, and datasets. More importantly, by using the industry standard for evaluation, we could avoid any differences stemming from prompt engineering and formatting issues and replicate the reported baseline results for each model.
실험 프레임워크 선택한 지식 집약적 작업에서 LLM의 성능을 평가하기 위해 널리 사용되는 LM-Evaluation-Harness(Gao et al., 2021) 리포지토리를 사용했습니다. LM-Evaluation-Harness는 현재 모델 평가의 업계 표준으로 사용되는 강력한 benchmarking 도구이며, HuggingFace 리더보드3의 기반이 되고 있습니다. 이 플랫폼을 활용하면 표준화된 평가 프레임워크를 보장하고 모델, 방법 및 데이터 세트 간에 일관된 비교가 가능합니다. 더욱 중요한 것은 평가를 위한 업계 표준을 사용함으로써 prompt engineering 및 형식 문제로 인한 차이를 피하고 각 모델에 대해 보고된 baseline 결과를 복제할 수 있었습니다.
실험 프레임워크 선택한 지식 집약적 작업에서 LLM의 성능을 평가하기 위해 널리 사용되는 LM-Evaluation-Harness(Gao et al., 2021) 리포지토리를 사용했습니다. LM-Evaluation-Harness는 현재 모델 평가의 업계 표준으로 사용되는 강력한 벤치마킹 도구이며, HuggingFace 리더보드3의 기반이 되고 있습니다. 이 플랫폼을 활용하면 표준화된 평가 프레임워크를 보장하고 모델, 방법 및 데이터 세트 간에 일관된 비교가 가능합니다. 더욱 중요한 것은 평가를 위한 업계 표준을 사용함으로써 프롬프트 엔지니어링 및 형식 문제로 인한 차이를 피하고 각 모델에 대해 보고된 기준 결과를 복제할 수 있었습니다.