no human labeling; could more of this generated data lead to better instruction-following ability? We conduct an analysis of the size of generated data by subsampling different numbers of instructions from the generated dataset, finetuning GPT3 on the sampled subsets, and evaluating how the resulting models perform on the 252 user-oriented instruction set. We conduct the same human evaluation as in SS4.4. Figure 7 presents the performance of GPT3SELF-INST models finetuned with different sizes of generated data. Overall, we see consistent improvement as we grow the data size. However, this improvement almost plateaus after 16K. This is inline with the data scaling experiments in Wang et al. (2022, Fig. 5). Interestingly, when evaluating on SuperNI we found the model's performance gain plateaus earlier at around hundreds of instructions. This may be due to the fact that the new generated data is distinct from typical NLP tasks in SuperNI, indicating that future research may benefit from using a combination of different instruction data for better performance on various types of tasks.
인간 라벨링이 필요하지 않으며, 이렇게 생성된 데이터가 더 많아지면 Instruction을 더 잘 따르는 능력을 갖출 수 있을까요? 생성된 데이터 세트에서 다양한 수의 Instruction을 하위 샘플링하고, 샘플링된 하위 집합에 대해 GPT3를 Fine-tuning하고, 그 결과 모델이 252개의 사용자 지향 Instruction 세트에서 어떻게 수행하는지 평가하여 생성된 데이터의 크기에 대한 분석을 수행합니다. SS4.4에서와 동일한 인간 평가를 수행합니다. 그림 7은 생성된 데이터의 크기가 다른 GPT3SELF-INST 모델을 Fine-tuning한 성능을 보여줍니다. 전반적으로 데이터 크기가 커짐에 따라 일관된 개선 효과를 볼 수 있습니다. 그러나 이러한 개선은 16K 이후 거의 정체됩니다. 이는 Wang 등(2022, 그림 5)의 데이터 Scaling 실험과 일치합니다. 흥미롭게도 SuperNI에서 평가할 때 모델의 성능 향상은 수백 개의 Instruction에서 더 일찍 정체되는 것으로 나타났습니다. 이는 생성된 새로운 데이터가 SuperNI의 일반적인 NLP 작업과 구별된다는 사실에 기인할 수 있으며, 향후 연구에서는 다양한 유형의 작업에서 더 나은 성능을 얻기 위해 다양한 Instruction 데이터의 조합을 사용하는 것이 도움이 될 수 있음을 나타냅니다.
인간 라벨링이 필요하지 않으며, 이렇게 생성된 데이터가 더 많아지면 지시 사항을 더 잘 따르는 능력을 갖출 수 있을까요? 생성된 데이터 세트에서 다양한 수의 명령을 하위 샘플링하고, 샘플링된 하위 집합에 대해 GPT3를 미세 조정하고, 그 결과 모델이 252개의 사용자 지향 명령 집합에서 어떻게 수행하는지 평가하여 생성된 데이터의 크기에 대한 분석을 수행합니다. SS4.4에서와 동일한 인간 평가를 수행합니다. 그림 7은 생성된 데이터의 크기가 다른 GPT3SELF-INST 모델을 미세 조정한 성능을 보여줍니다. 전반적으로 데이터 크기가 커짐에 따라 일관된 개선 효과를 볼 수 있습니다. 그러나 이러한 개선은 16K 이후 거의 정체됩니다. 이는 Wang 등(2022, 그림 5)의 데이터 스케일링 실험과 일치합니다. 흥미롭게도 SuperNI에서 평가할 때 모델의 성능 향상은 수백 개의 명령어에서 더 일찍 정체되는 것으로 나타났습니다. 이는 생성된 새로운 데이터가 SuperNI의 일반적인 NLP 작업과 구별된다는 사실에 기인할 수 있으며, 향후 연구에서는 다양한 유형의 작업에서 더 나은 성능을 얻기 위해 다양한 명령 데이터의 조합을 사용하는 것이 도움이 될 수 있음을 나타냅니다.