We validate our _Evol-Instruct_ by fine-tuning open-source LLaMA [4] with our evolved instructions and evaluating its performance similar to existing SOTA works (e.g., Alpaca [31] and Vicuna [22]) on instruction finetuning. The instruction datasets we compare with are the data used by Alpaca (generated using self-instruct [32]) and the 70k ShareGPT (shared by real users) used by Vicuna. To prove that the instruction dataset from our method is superior to human-created instruction datasets, we select Alpaca's training data (generated from only 175 human-created seed instructions) as the initial dataset. We execute four epochs of evolution using OpenAI ChatGPT API5 and finally obtain 250k instructions. To ensure a fair comparison with Vicuna's 70k real user data, we sampled an equal amount from the full 250k data and trained the LLaMA 7B model. We name our model _WizardLM_. Due to the low proportion of difficult instructions in the previous instruction-following test dataset, we manually created a new difficulty-balanced test dataset, named _Evol-Instruct_ testset. We hire annotators and leverage GPT-4 to evaluate Alpaca, Vicuna, ChatGPT, and _WizardLM_ on _Evol-Instruct_ testset and Vicuna's testset.
우리는 진화한 instructions로 오픈 소스 LLaMA [4]를 Fine-tuning하고 instruction Fine-tuning에 대한 기존 SOTA 작업(예: Alpaca [31] 및 Vicuna [22])과 유사한 성능을 평가하여 _Evol-Instruct_의 유효성을 검사합니다. 우리가 비교하는 instruction 데이터 세트는 Alpaca에서 사용한 데이터(self-instruct [32]를 사용하여 생성됨)와 Vicuna에서 사용한 70k ShareGPT(실제 사용자가 공유한 데이터)입니다. 우리 방법의 instruction 데이터 세트가 사람이 만든 instruction 데이터 세트보다 우월하다는 것을 증명하기 위해 Alpaca의 학습 데이터(175개의 사람이 만든 시드 instructions로만 생성됨)를 초기 데이터 세트로 선택합니다. OpenAI ChatGPT API5를 사용하여 4회의 진화를 실행하고 최종적으로 25만 개의 instructions를 얻습니다. Vicuna의 70,000개의 실제 사용자 데이터와의 공정한 비교를 위해 전체 25만 개의 데이터에서 동일한 양을 샘플링하여 LLaMA 7B 모델을 학습시켰습니다. 우리 모델의 이름은 _WizardLM_입니다. 이전 instruction 수행 테스트 데이터 세트의 난이도가 낮았기 때문에 난이도 균형이 잡힌 새로운 테스트 데이터 세트를 수동으로 만들었으며, _Evol-Instruct_ 테스트 세트라고 명명했습니다. 우리는 주석가를 고용하고 GPT-4를 활용하여 Alpaca, Vicuna, ChatGPT 및 _WizardLM_을 _Evol-Instruct_ 테스트 세트와 Vicuna의 테스트 세트에 대해 평가합니다.
우리는 진화한 명령어로 오픈 소스 LLaMA [4]를 미세 조정하고 명령어 미세 조정에 대한 기존 SOTA 작업(예: 알파카 [31] 및 비쿠나 [22])과 유사한 성능을 평가하여 _Evol-Instruct_의 유효성을 검사합니다. 우리가 비교하는 명령어 데이터 세트는 알파카에서 사용한 데이터(self-instruct [32]를 사용하여 생성됨)와 비쿠나에서 사용한 70k ShareGPT(실제 사용자가 공유한 데이터)입니다. 우리 방법의 명령어 데이터 세트가 사람이 만든 명령어 데이터 세트보다 우월하다는 것을 증명하기 위해 알파카의 학습 데이터(175개의 사람이 만든 시드 명령어로만 생성됨)를 초기 데이터 세트로 선택합니다. OpenAI ChatGPT API5를 사용하여 4회의 진화를 실행하고 최종적으로 25만 개의 명령어를 얻습니다. 비쿠나의 70,000개의 실제 사용자 데이터와의 공정한 비교를 위해 전체 25만 개의 데이터에서 동일한 양을 샘플링하여 LLaMA 7B 모델을 학습시켰습니다. 우리 모델의 이름은 _WizardLM_입니다. 이전 명령어 수행 테스트 데이터 세트의 난이도가 낮았기 때문에 난이도 균형이 잡힌 새로운 테스트 데이터 세트를 수동으로 만들었으며, _Evol-Instruct_ 테스트 세트라고 명명했습니다. 우리는 주석가를 고용하고 GPT-4를 활용하여 알파카, 비쿠나, ChatGPT 및 _WizardLM_을 _Evol-Instruct_ 테스트 세트와 비쿠나의 테스트 세트에 대해 평가합니다.