Motivated by the _Evol-Instruct_ method, this study aims to enhance the capabilities of the SOTA open-source Code LLM, StarCoder [11], by generating intricate code instruction data through code-specific _Evol-Instruct_. To achieve this, we have made several adaptations to the evolutionary prompt process tailored specifically for code-related tasks. These modifications include refining the evolutionary instructions, simplifying the form of evolutionary prompts, and incorporating code debugging and time-space complexity constraints. Initially, our method is applied to evolve the basic code instruction data, Code Alpaca [30]. Subsequently, we conduct fine-tuning of StarCoder using our newly created code instruction-following training set and obtain our _WizardCoder_.
이 연구는 _Evol-Instruct_ 방식에 영감을 받아 코드 관련 _Evol-Instruct_를 통해 복잡한 코드 instruction 데이터를 생성함으로써 SOTA 오픈 소스 코드 LLM인 StarCoder [11]의 기능을 향상시키는 것을 목표로 합니다. 이를 위해 코드 관련 작업에 맞게 진화 prompt 프로세스를 몇 가지로 수정했습니다. 이러한 수정에는 진화 instructions를 개선하고, 진화 prompt의 형식을 단순화하며, 코드 디버깅 및 시공간 복잡성 제약 조건을 통합하는 것이 포함됩니다. 처음에는 기본 코드 instruction 데이터인 Code Alpaca [30]를 진화시키는 데 이 방법을 적용합니다. 그런 다음 새로 생성된 코드 instruction-following 훈련 세트를 사용하여 StarCoder를 Fine-tuning하고 _WizardCoder_를 얻습니다.
이 연구는 _Evol-Instruct_ 방식에 영감을 받아 코드 관련 _Evol-Instruct_를 통해 복잡한 코드 명령어 데이터를 생성함으로써 SOTA 오픈 소스 코드 LLM인 StarCoder [11]의 기능을 향상시키는 것을 목표로 합니다. 이를 위해 코드 관련 작업에 맞게 진화 프롬프트 프로세스를 몇 가지로 수정했습니다. 이러한 수정에는 진화 지침을 개선하고, 진화 프롬프트의 형식을 단순화하며, 코드 디버깅 및 시공간 복잡성 제약 조건을 통합하는 것이 포함됩니다. 처음에는 기본 코드 명령어 데이터인 Code Alpaca [30]를 진화시키는 데 이 방법을 적용합니다. 그런 다음 새로 생성된 코드 명령어 팔로잉 훈련 세트를 사용하여 StarCoder를 미세 조정하고 _WizardCoder_를 얻습니다.