While fine-tuning LMs with diverse NLP tasks has shown promising results, it often falls short in aligning with the intentions of real-world users. OpenAI has pursued a different approach by soliciting human annotators to provide a large corpus of human instructions, encompassing diverse forms and a wide range of task types. Building upon this dataset, OpenAI trained its GPT3 [1] model to create InstructGPT [10], which better aligns with users' inputs. This line of development has even led to the impressive work known as ChatGPT. However, it is important to note that the dataset and model weights associated with these advancements are not publicly available. Alpaca [26] takes a different route by adopting the self-instruct method [27], leveraging ChatGPT to generate data for training. Vicuna [28] utilizes user-shared conversations collected from ShareGPT.com to train its models. WizardLM [29] introduces the _Evol-Instruct_ method, which involves evolving existing instruction data to generate more complex and diverse datasets. In contrast to these general instruction fine-tuning approaches, our _WizardCoder_ successfully applies the _Evol-Instruct_ method specifically in the domain of Code LLMs.
다양한 NLP 작업을 통해 LM을 Fine-tuning하는 방법은 유망한 결과를 보여주었지만, 실제 사용자의 의도에 부합하지 못하는 경우가 많습니다. OpenAI는 다양한 형태와 광범위한 작업 유형을 포괄하는 대규모 인간 지침 코퍼스를 제공하기 위해 인간 주석가에게 요청하는 다른 접근 방식을 추구했습니다. 이 데이터 세트를 기반으로 OpenAI는 GPT3 [1] 모델을 훈련하여 사용자의 입력에 더 잘 부합하는 InstructGPT [10]를 만들었습니다. 이러한 개발은 ChatGPT로 알려진 인상적인 작업으로 이어지기도 했습니다. 그러나 이러한 발전과 관련된 데이터 세트 및 모델 가중치는 공개적으로 사용할 수 없다는 점에 유의해야 합니다. Alpaca [26]는 self-instruct 방식 [27]을 채택하여 ChatGPT를 활용하여 학습용 데이터를 생성하는 다른 경로를 취합니다. Vicuna [28]는 ShareGPT.com에서 수집한 사용자 공유 대화를 활용하여 모델을 훈련합니다. WizardLM [29]은 기존 instruction 데이터를 진화시켜 더욱 복잡하고 다양한 데이터 세트를 생성하는 _Evol-Instruct_ 방법을 도입합니다. 이러한 일반적인 instruction Fine-tuning 접근 방식과는 대조적으로, 우리의 _WizardCoder_는 코드 LLM 영역에서 _Evol-Instruct_ 방법을 성공적으로 적용했습니다.
다양한 NLP 작업을 통해 LM을 미세 조정하는 방법은 유망한 결과를 보여주었지만, 실제 사용자의 의도에 부합하지 못하는 경우가 많습니다. OpenAI는 다양한 형태와 광범위한 작업 유형을 포괄하는 대규모 인간 지침 코퍼스를 제공하기 위해 인간 주석가에게 요청하는 다른 접근 방식을 추구했습니다. 이 데이터 세트를 기반으로 OpenAI는 GPT3 [1] 모델을 훈련하여 사용자의 입력에 더 잘 부합하는 InstructGPT [10]를 만들었습니다. 이러한 개발은 챗GPT로 알려진 인상적인 작업으로 이어지기도 했습니다. 그러나 이러한 발전과 관련된 데이터 세트 및 모델 가중치는 공개적으로 사용할 수 없다는 점에 유의해야 합니다. 알파카 [26]는 셀프 인스트럭트 방식 [27]을 채택하여 챗GPT를 활용하여 학습용 데이터를 생성하는 다른 경로를 취합니다. Vicuna [28]는 ShareGPT.com에서 수집한 사용자 공유 대화를 활용하여 모델을 훈련합니다. WizardLM [29]은 기존 지침 데이터를 진화시켜 더욱 복잡하고 다양한 데이터 세트를 생성하는 _Evol-Instruct_ 방법을 도입합니다. 이러한 일반적인 지침 미세 조정 접근 방식과는 대조적으로, 우리의 _WizardCoder_는 코드 LLM 영역에서 _Evol-Instruct_ 방법을 성공적으로 적용했습니다.