HumanEval [31], HumanEval+ [32] and MBPP [33] are extensively utilized benchmarks within the field of Code LLMs. These benchmarks encompass a vast collection of Python programming problems, employing test cases to validate the code generated by Code LLMs. HumanEval consists of 164 original programming problems, with an average of 9.6 test cases allocated to each problem. To ensure a thorough assessment of the functional correctness of LLM-synthesized code, HumanEval+ extends the number of test cases significantly, averaging at 774.8 test cases per problem. On the other hand, MBPP offers a set of 500 test programming problems, accompanied by three automated test cases per problem.
HumanEval [31], HumanEval+ [32] 및 MBPP [33]는 코드 LLM 분야에서 광범위하게 활용되는 벤치마크입니다. 이러한 벤치마크는 코드 LLM이 생성한 코드의 유효성을 검증하기 위해 테스트 케이스를 사용하는 방대한 Python 프로그래밍 문제 모음을 포함합니다. HumanEval은 164개의 오리지널 프로그래밍 문제로 구성되며, 각 문제에 평균 9.6개의 테스트 케이스가 할당됩니다. LLM으로 합성된 코드의 기능적 정확성을 철저히 평가하기 위해 HumanEval+는 문제당 평균 774.8개의 테스트 케이스로 테스트 케이스의 수를 대폭 늘렸습니다. 반면에 MBPP는 문제당 3개의 automated test case와 함께 500개의 테스트 프로그래밍 문제 세트를 제공합니다.
HumanEval [31], HumanEval+ [32] 및 MBPP [33]는 코드 LLM 분야에서 광범위하게 활용되는 벤치마크입니다. 이러한 벤치마크는 코드 LLM이 생성한 코드의 유효성을 검증하기 위해 테스트 케이스를 사용하는 방대한 Python 프로그래밍 문제 모음을 포함합니다. HumanEval은 164개의 오리지널 프로그래밍 문제로 구성되며, 각 문제에 평균 9.6개의 테스트 케이스가 할당됩니다. LLM으로 합성된 코드의 기능적 정확성을 철저히 평가하기 위해 HumanEval+는 문제당 평균 774.8개의 테스트 케이스로 테스트 케이스의 수를 대폭 늘렸습니다. 반면에 MBPP는 문제당 3개의 자동화된 테스트 케이스와 함께 500개의 테스트 프로그래밍 문제 세트를 제공합니다.