After creating large-scale instruction data, we use it to finetune the original LM (i.e., Self-Instruct). To do this, we concatenate the instruction and instance input as a prompt and train the model to generate the instance output in a standard supervised way. To make the model robust to different formats, we use multiple templates to encode the instruction and instance input together. For example, the instruction can be prefixed with "Task:" or not, the input can be prefixed with "Input:" or not, "Output:" can be appended at the end of the prompt or not, and different numbers of break lines can be put in the middle, etc.
대규모 Instruction 데이터를 생성한 후, 이를 사용하여 원래 LM(즉, Self-Instruct)을 Fine-tuning합니다. 이를 위해 Instruction과 인스턴스 입력을 프롬프트로 연결하고 표준 지도 방식으로 인스턴스 출력을 생성하도록 모델을 훈련합니다. 다양한 형식에 대한 모델의 Robustness를 높이기 위해 여러 템플릿을 사용하여 Instruction과 인스턴스 입력을 함께 인코딩합니다. 예를 들어, Instruction 앞에 "Task:"를 붙이거나 붙이지 않고, 입력 앞에 "Input:"를 붙이거나 붙이지 않고, 프롬프트 끝에 "Output:"를 붙이거나 붙이지 않고, 중간에 다른 개수의 줄 바꿈을 넣을 수 있습니다.
대규모 명령어 데이터를 생성한 후, 이를 사용하여 원래 LM(즉, Self-Instruct)을 미세 조정합니다. 이를 위해 명령어와 인스턴스 입력을 프롬프트로 연결하고 표준 지도 방식으로 인스턴스 출력을 생성하도록 모델을 훈련합니다. 다양한 형식에 대한 모델의 견고성을 높이기 위해 여러 템플릿을 사용하여 명령어와 인스턴스 입력을 함께 인코딩합니다. 예를 들어, 명령어 앞에 "Task:"를 붙이거나 붙이지 않고, 입력 앞에 "Input:"를 붙이거나 붙이지 않고, 프롬프트 끝에 "Output:"를 붙이거나 붙이지 않고, 중간에 다른 개수의 줄 바꿈을 넣을 수 있습니다.