The experimental results obtained from four code generation benchmarks, namely HumanEval [31], HumanEval+ [32], MBPP [33], and DS-100 [34], demonstrate that our _WizardCoder_ outperforms all other open-source Code LLMs, achieving state-of-the-art (SOTA) performance. Specifically, we observe a substantial improvement in pass@1 scores, with an increase of +22.3 (57.3 vs. 35.0) in HumanEval and +8.2 (51.8 vs. 43.6) in MBPP. Remarkably, despite its much smaller size, our _WizardCoder_ even surpasses Anthropic's Claude and Google's Bard in terms of pass rates on HumanEval and HumanEval+.
4개의 코드 생성 벤치마크(HumanEval [31], HumanEval+ [32], MBPP [33], DS-100 [34])에서 얻은 실험 결과는 _WizardCoder_가 다른 모든 오픈 소스 Code LLM보다 성능이 뛰어나며 state-of-the-art (SOTA) 성능을 달성한다는 것을 보여줍니다. 특히, HumanEval에서는 +22.3(57.3 대 35.0), MBPP에서는 +8.2(51.8 대 43.6)로 pass@1 점수가 크게 향상되는 것을 관찰할 수 있습니다. 놀랍게도, 훨씬 작은 규모에도 불구하고 HumanEval과 HumanEval+의 합격률 측면에서 Anthropic의 Claude와 Google's Bard를 능가했습니다.
4개의 코드 생성 벤치마크(HumanEval [31], HumanEval+ [32], MBPP [33], DS-100 [34])에서 얻은 실험 결과는 _WizardCoder_가 다른 모든 오픈 소스 코드 LLM보다 성능이 뛰어나며 최첨단(SOTA) 성능을 달성한다는 것을 보여줍니다. 특히, HumanEval에서는 +22.3(57.3 대 35.0), MBPP에서는 +8.2(51.8 대 43.6)로 Pass@1 점수가 크게 향상되는 것을 관찰할 수 있습니다. 놀랍게도, 훨씬 작은 규모에도 불구하고 HumanEval과 HumanEval+의 합격률 측면에서 Anthropic의 Claude와 Google의 Bard를 능가했습니다.