\(\bullet\)_Benchmark-based approach_. This evaluation approach can leverage existing benchmarks for assessing the performance of LLMs. The tasks involved in these benchmarks often contain sufficient test samples to measure the core abilities (_e.g.,_ reasoning). The whole evaluation procedure can be (almost) automatic, and it is convenient to carry out test experiments for various base LLMs, especially useful for monitoring the performance of model checkpoints during pre-training. However, LLMs are often sensitive to the evaluation settings, including the question prompts, zero-shot or few-shot tests, and the answer parsing methods. Thus, one should take possible influencing factors into consideration when conducting the evaluation experiments. The evaluation results should be noted with the adopted evaluation settings. Another issue is the data contamination [56, 738], _i.e.,_ the test data itself or relevant content has been contained in the pre-training corpora. This phenomenon has become increasingly severe since more and more open data has been collected for developing LLMs.
\(\bullet\)_Benchmark-based approach_. 이 평가 접근 방식은 LLM의 성능을 평가하기 위한 기존 벤치마크를 활용할 수 있습니다. 이러한 벤치마크와 관련된 작업에는 종종 reasoning과 같은 핵심 능력을 측정하기에 충분한 테스트 샘플이 포함되어 있습니다. 전체 평가 절차는 (거의) 자동화할 수 있으며, 다양한 기본 LLM에 대한 테스트 실험을 수행하는 것이 편리하며, 특히 사전 학습 중 모델 체크포인트의 성능을 모니터링하는 데 유용합니다. 그러나 LLM은 질문 프롬프트, zero-shot 또는 few-shot 테스트, 답변 구문 분석 방법을 포함한 평가 설정에 민감한 경우가 많습니다. 따라서 평가 실험을 수행할 때 영향을 미칠 수 있는 요인을 고려해야 합니다. 평가 결과는 채택된 평가 설정에 따라 주의해야 합니다. 또 다른 문제는 데이터 오염[56, 738], 즉 테스트 데이터 자체 또는 관련 콘텐츠가 사전 학습 코퍼스에 포함되어 있는 것입니다. 이러한 현상은 점점 더 많은 개방형 데이터가 LLM을 개발하기 위해 수집됨에 따라 점점 더 심각해지고 있습니다.
\(\bullet\)_벤치마크 기반 접근 방식_. 이 평가 접근 방식은 LLM의 성능을 평가하기 위한 기존 벤치마크를 활용할 수 있습니다. 이러한 벤치마크와 관련된 작업에는 종종 추론과 같은 핵심 능력을 측정하기에 충분한 테스트 샘플이 포함되어 있습니다. 전체 평가 절차는 (거의) 자동화할 수 있으며, 다양한 기본 LLM에 대한 테스트 실험을 수행하는 것이 편리하며, 특히 사전 학습 중 모델 체크포인트의 성능을 모니터링하는 데 유용합니다. 그러나 LLM은 질문 프롬프트, 제로 샷 또는 몇 개의 샷 테스트, 답변 구문 분석 방법을 포함한 평가 설정에 민감한 경우가 많습니다. 따라서 평가 실험을 수행할 때 영향을 미칠 수 있는 요인을 고려해야 합니다. 평가 결과는 채택된 평가 설정에 따라 주의해야 합니다. 또 다른 문제는 데이터 오염[56, 738], 즉 테스트 데이터 자체 또는 관련 콘텐츠가 사전 학습 코퍼에 포함되어 있는 것입니다. 이러한 현상은 점점 더 많은 개방형 데이터가 LLM을 개발하기 위해 수집됨에 따라 점점 더 심각해지고 있습니다.