To evaluate Self-Instruct empirically, we run this framework on GPT3 (Brown et al., 2020), which is a vanilla LM (SS3). The iterative Self-Instruct process on this model leads to about 52k instructions, paired with about 82K instance inputs and target outputs. We observe that the resulting data provides a diverse range of creative tasks, as is demonstrated by examples in Figure 1. These generated tasks deviate from the distribution of typical NLP tasks, and also have fairly small overlap with the seed tasks (SS3.2). On this resulting data, we build GPT3SELF-INST by finetuning GPT3 (i.e., the same model used for generating the instruction data). We evaluate GPT3SELF-INST in comparison to various other models on both typical NLP tasks included in SuperNI (Wang et al., 2022), and a set of new instructions that are created for novel usage of instruction-following models (SS4). The results indicate that GPT3SELF-INST outperforms GPT3 (the original model) by a large margin (+33.1%) and nearly matches the performance of InstructGPT001. Moreover, our human evaluation on the newly-created instruction set shows that GPT3SELF-INST demonstrates a broad range of instruction following ability, outperforming models trained on other publicly available instruction datasets and leaving only a 5% gap behind InstructGPT001.
Self-Instruct를 경험적으로 평가하기 위해, 바닐라 LM(SS3)인 GPT3(Brown et al., 2020)에서 이 프레임워크를 실행합니다. 이 모델에 대한 반복적인 Self-Instruct 프로세스를 통해 약 52,000개의 instructions와 약 82,000개의 인스턴스 입력 및 대상 출력이 짝을 이룹니다. 그 결과 데이터는 그림 1의 예에서 볼 수 있듯이 다양한 창의적인 작업을 제공한다는 것을 관찰했습니다. 이러한 생성된 작업은 일반적인 NLP 작업의 분포에서 벗어나며, 시드 작업(SS3.2)과도 상당히 겹치지 않습니다. 이 결과 데이터를 바탕으로 GPT3(즉, instruction 데이터 생성에 사용된 동일한 모델)를 Fine-tuning하여 GPT3SELF-INST를 구축합니다. SuperNI(Wang et al., 2022)에 포함된 일반적인 NLP 작업과 instruction 모델의 새로운 사용을 위해 생성된 새로운 instruction 세트(SS4)에 대해 다양한 다른 모델과 비교하여 GPT3SELF-INST를 평가합니다. 그 결과, GPT3SELF-INST가 GPT3(원래 모델)보다 큰 폭(+33.1%)으로 성능이 뛰어나며 InstructGPT001의 성능에 거의 근접한 것으로 나타났습니다. 또한 새로 생성된 instruction 세트에 대한 인간 평가 결과, GPT3SELF-INST는 다른 공개된 instruction 데이터 세트로 훈련된 모델보다 뛰어난 광범위한 instruction 수행 능력을 보여주었으며, InstructGPT001에 비해 5%의 격차만 남겼습니다.
Self-Instruct를 경험적으로 평가하기 위해, 바닐라 LM(SS3)인 GPT3(Brown et al., 2020)에서 이 프레임워크를 실행합니다. 이 모델에 대한 반복적인 Self-Instruct 프로세스를 통해 약 52,000개의 명령어와 약 82,000개의 인스턴스 입력 및 대상 출력이 짝을 이룹니다. 그 결과 데이터는 그림 1의 예에서 볼 수 있듯이 다양한 창의적인 작업을 제공한다는 것을 관찰했습니다. 이러한 생성된 작업은 일반적인 NLP 작업의 분포에서 벗어나며, 시드 작업(SS3.2)과도 상당히 겹치지 않습니다. 이 결과 데이터를 바탕으로 GPT3(즉, 명령어 데이터 생성에 사용된 동일한 모델)를 미세 조정하여 GPT3SELF-INST를 구축합니다. SuperNI(Wang et al., 2022)에 포함된 일반적인 NLP 작업과 명령어 모델의 새로운 사용을 위해 생성된 새로운 명령어 세트(SS4)에 대해 다양한 다른 모델과 비교하여 GPT3SELF-INST를 평가합니다. 그 결과, GPT3SELF-INST가 GPT3(원래 모델)보다 큰 폭(+33.1%)으로 성능이 뛰어나며 InstructGPT001의 성능에 거의 근접한 것으로 나타났습니다. 또한 새로 생성된 명령어 세트에 대한 인간 평가 결과, GPT3SELF-INST는 다른 공개된 명령어 데이터 세트로 훈련된 모델보다 뛰어난 광범위한 명령어 수행 능력을 보여주었으며, InstructGPT001에 비해 5%의 격차만 남겼습니다.