Once all evolutions are done, we will merge the initial instruction dataset with evolved instruction data from all epochs and randomly shuffle the samples to create the final fine-tuning dataset. This processing ensures even distribution of instructions of varying difficulty levels in the dataset, maximizing model fine-tuning smoothness. We avoided using complex or multiple prompt templates from previous instruction tuning works[32, 40] to ensure the fine-tuned model can handle open-domain instructions. We only concatenated the instruction with "### Response:" as the prompt to train the model to generate responses in a standard supervised way.
모든 진화가 완료되면 초기 instruction 데이터 세트를 모든 에포크의 진화된 instruction 데이터와 병합하고 샘플을 무작위로 섞어 최종 Fine-tuning 데이터 세트를 생성합니다. 이 처리를 통해 데이터 세트에 다양한 난이도의 instruction이 고르게 분포되도록 하여 모델 Fine-tuning의 부드러움을 극대화합니다. 이전 Instruction Tuning 작업[32, 40]에서 복잡하거나 여러 prompt 템플릿을 사용하지 않아 Fine-tuning된 모델이 오픈 도메인 instruction을 처리할 수 있도록 했습니다. 모델을 표준 지도 방식으로 응답을 생성하도록 훈련하기 위해 prompt로 instruction을 "### Response:"과 연결했을 뿐입니다.
모든 진화가 완료되면 초기 명령어 데이터 세트를 모든 에포크의 진화된 명령어 데이터와 병합하고 샘플을 무작위로 섞어 최종 미세 조정 데이터 세트를 생성합니다. 이 처리를 통해 데이터 세트에 다양한 난이도의 명령어가 고르게 분포되도록 하여 모델 미세 조정의 부드러움을 극대화합니다. 이전 명령어 튜닝 작업[32, 40]에서 복잡하거나 여러 프롬프트 템플릿을 사용하지 않아 미세 조정된 모델이 오픈 도메인 명령어를 처리할 수 있도록 했습니다. 모델을 표준 지도 방식으로 응답을 생성하도록 훈련하기 위해 프롬프트로 명령어를 "### 응답:"과 연결했을 뿐입니다.