The DS-1000 benchmark [34] comprises 1,000 distinct data science workflows spanning seven libraries. It assesses the performance of code generations against test cases and supports two evaluation modes: completion and insertion. In our experiments, we only report insertion scores for models that support. The DS-1000 benchmark further classifies problems based on the libraries employed, including Matplotlib (plt), NumPy (np), Pandas (pd), SciPy (scp), Scikit-Learn (sk), PyTorch (py), and TensorFlow (tf). We follow the same prompt format as StarCoder. In Table 2, we present pass@1 (n=40) results for each library, along with an overall score. Based on these results, our conclusion is that _WizardCoder_ demonstrates a significant superiority over all other models when tackling data science problems on the DS-1000 benchmark. This observation holds true across nearly all data science libraries.
DS-1000 benchmark[34]는 7개의 라이브러리를 아우르는 1,000개의 개별 데이터 과학 워크플로우로 구성되어 있습니다. 테스트 케이스에 대한 코드 생성의 성능을 평가하며 completion 및 insertion의 두 가지 평가 모드를 지원합니다. 실험에서는 이를 지원하는 모델에 대한 insertion 점수만 보고합니다. DS-1000 benchmark는 Matplotlib(plt), NumPy(np), Pandas(pd), SciPy(scp), Scikit-Learn(sk), PyTorch(py), TensorFlow(tf) 등 사용된 라이브러리에 따라 문제를 더 분류합니다. StarCoder와 동일한 prompt 형식을 따릅니다. 표 2에는 각 라이브러리에 대한 pass@1(n=40) 결과와 전체 점수가 함께 표시됩니다. 이 결과를 바탕으로 _WizardCoder_는 DS-1000 benchmark에서 데이터 과학 문제를 해결할 때 다른 모든 모델에 비해 상당한 우월성을 보여준다는 결론을 내릴 수 있습니다. 이러한 관찰은 거의 모든 데이터 과학 라이브러리에서 사실입니다.
DS-1000 벤치마크[34]는 7개의 라이브러리를 아우르는 1,000개의 개별 데이터 과학 워크플로우로 구성되어 있습니다. 테스트 케이스에 대한 코드 생성의 성능을 평가하며 완료 및 삽입의 두 가지 평가 모드를 지원합니다. 실험에서는 이를 지원하는 모델에 대한 삽입 점수만 보고합니다. DS-1000 벤치마크는 Matplotlib(plt), NumPy(np), Pandas(pd), SciPy(scp), Scikit-Learn(sk), PyTorch(py), TensorFlow(tf) 등 사용된 라이브러리에 따라 문제를 더 분류합니다. StarCoder와 동일한 프롬프트 형식을 따릅니다. 표 2에는 각 라이브러리에 대한 pass@1(n=40) 결과와 전체 점수가 함께 표시됩니다. 이 결과를 바탕으로 _WizardCoder_는 DS-1000 벤치마크에서 데이터 과학 문제를 해결할 때 다른 모든 모델에 비해 상당한 우월성을 보여준다는 결론을 내릴 수 있습니다. 이러한 관찰은 거의 모든 데이터 과학 라이브러리에서 사실입니다.