Large "instruction-tuned" language models (i.e., finetuned to respond to instructions) have demonstrated a remarkable ability to generalize zero-shot to new tasks. Nevertheless, they depend heavily on human-written instruction data that is often limited in quantity, diversity, and creativity, therefore hindering the generality of the tuned model. We introduce Self-Instruct, a framework for improving the instruction-following capabilities of pretrained language models by bootstrapping off their own generations. Our pipeline generates instructions, input, and output samples from a language model, then filters invalid or similar ones before using them to finetune the original model. Applying our method to the vanilla GPT3, we demonstrate a 33% absolute improvement over the original model on Super-NaturalInstructions, on par with the performance of InstructGPT\({}_{001}\),1 which was trained with private user data and human annotations. For further evaluation, we curate a set of expert-written instructions for novel tasks, and show through human evaluation that tuning GPT3 with Self-Instruct outperforms using existing public instruction datasets by a large margin, leaving only a 5% absolute gap behind InstructGPT\({}_{001}\).
대규모 "Instruction-tuned" 언어 모델(즉, Instruction에 응답하도록 Fine-tuning된 모델)은 새로운 작업에 zero-shot으로 일반화하는 놀라운 능력을 입증했습니다. 그럼에도 불구하고 이러한 모델은 수량, 다양성, 창의성이 제한적인 인간이 작성한 Instruction 데이터에 크게 의존하기 때문에 튜닝된 모델의 일반성을 저해합니다. 저희는 언어 모델 자체 생성을 부트스트랩하여 사전 학습된 언어 모델의 Instruction 수행 기능을 개선하기 위한 프레임워크인 Self-Instruct를 소개합니다. 저희의 파이프라인은 언어 모델에서 Instruction, 입력 및 출력 샘플을 생성한 다음 유효하지 않거나 유사한 샘플을 필터링한 후 이를 사용하여 원래 모델을 Fine-tuning합니다. 이 방법을 바닐라 GPT3에 적용하여 Super-NaturalInstructions에서 원래 모델보다 33% 절대적으로 개선되었으며, 비공개 사용자 데이터와 인간 주석으로 학습된 InstructGPT\({}_{001}\)의 성능과 동등한 성능을 보여주었습니다. 추가 평가를 위해 새로운 작업에 대한 전문가가 작성한 Instruction 세트를 큐레이션하고, 인간 평가를 통해 Self-Instruct로 GPT3를 튜닝하는 것이 기존 공개 Instruction 데이터 세트를 사용하는 것보다 훨씬 뛰어난 성능을 보이며, InstructGPT\({}_{001}\) 뒤에 5%의 절대 격차만 남았음을 보여주었습니다.
대규모 "명령어 튜닝" 언어 모델(즉, 명령어에 응답하도록 미세 조정된 모델)은 새로운 작업에 0샷으로 일반화하는 놀라운 능력을 입증했습니다. 그럼에도 불구하고 이러한 모델은 수량, 다양성, 창의성이 제한적인 인간이 작성한 명령 데이터에 크게 의존하기 때문에 튜닝된 모델의 일반성을 저해합니다. 저희는 언어 모델 자체 생성을 부트스트랩하여 사전 학습된 언어 모델의 명령어 수행 기능을 개선하기 위한 프레임워크인 Self-Instruct를 소개합니다. 저희의 파이프라인은 언어 모델에서 명령어, 입력 및 출력 샘플을 생성한 다음 유효하지 않거나 유사한 샘플을 필터링한 후 이를 사용하여 원래 모델을 미세 조정합니다. 이 방법을 바닐라 GPT3에 적용하여 Super-NaturalInstructions에서 원래 모델보다 33% 절대적으로 개선되었으며, 비공개 사용자 데이터와 인간 주석으로 학습된 InstructGPT\({}_{001}\)1의 성능과 동등한 성능을 보여주었습니다. 추가 평가를 위해 새로운 작업에 대한 전문가가 작성한 지침 세트를 큐레이션하고, 인간 평가를 통해 Self-Instruct로 GPT3를 튜닝하는 것이 기존 공개 지침 데이터 세트를 사용하는 것보다 훨씬 뛰어난 성능을 보이며, InstructGPT\({}_{001}\) 뒤에 5%의 절대 격차만 남았음을 보여주었습니다.