Comparing with the Closed-Source Models.The SOTA LLMs for code generation, such as GPT4, Claude, and Bard, are predominantly closed-source. Acquiring access to the APIs of these models proves challenging. In this study, we adopt an alternative approach by retrieving the scores for HumanEval and HumanEval+ from the LLM-Humaneval-Benchmarks [39]. Notably, all the mentioned models generate code solutions for each problem utilizing a single attempt, and the resulting pass rate percentage is reported. To maintain consistency, we employ the same experimental setup by generating answers using greedy decoding and evaluate our _WizanLoder_ using the provided evaluation codes. By adhering to these standardized procedures, we aim to ensure fair and comparable evaluations of our model against existing benchmarks.
비교 폐쇄형 모델과 비교. 코드 생성을 위한 SOTA LLM(예: GPT4, Claude, Bard)은 주로 비공개 소스입니다. 이러한 모델의 API에 대한 액세스를 얻는 것은 어렵습니다. 이 연구에서는 LLM-Humaneval-Benchmarks [39]에서 HumanEval 및 HumanEval+ 점수를 검색하는 대체 접근 방식을 채택합니다. 특히, 언급된 모든 모델은 한 번의 시도를 통해 각 문제에 대한 코드 솔루션을 생성하며, 그 결과 합격률 백분율이 보고됩니다. 일관성을 유지하기 위해 greedy decoding을 사용하여 답을 생성하는 동일한 실험 설정을 사용하고 제공된 평가 코드를 사용하여 _WizanLoder_를 평가합니다. 이러한 표준화된 절차를 준수함으로써 기존 벤치마크에 대한 모델의 공정하고 비교 가능한 평가를 보장하는 것을 목표로 합니다.
비교 폐쇄형 모델과 비교.코드 생성을 위한 SOTA LLM(예: GPT4, 클라우드, 바드)은 주로 비공개 소스입니다. 이러한 모델의 API에 대한 액세스를 얻는 것은 어렵습니다. 이 연구에서는 LLM-Humaneval-Benchmarks [39]에서 HumanEval 및 HumanEval+ 점수를 검색하는 대체 접근 방식을 채택합니다. 특히, 언급된 모든 모델은 한 번의 시도를 통해 각 문제에 대한 코드 솔루션을 생성하며, 그 결과 합격률 백분율이 보고됩니다. 일관성을 유지하기 위해 욕심스러운 디코딩을 사용하여 답을 생성하는 동일한 실험 설정을 사용하고 제공된 평가 코드를 사용하여 _WizanLoder_를 평가합니다. 이러한 표준화된 절차를 준수함으로써 기존 벤치마크에 대한 모델의 공정하고 비교 가능한 평가를 보장하는 것을 목표로 합니다.