Additionally, to compare Self-Instruct training with other publicly available instruction tuning data, we further finetune GPT3 model with data from PromptSource and SuperNI, which are used to train the T0 and T_k_-Instruct models. We call them T0 training and SuperNI training for short, respectively. To save the training budget, we sampled 50K instances (but covering all their instructions) for each dataset, which has a comparable size to the instruction data we generated. Based on the findings from Wang et al. (2022) and our early experiments, reducing the number of instances per training task does not degrade the model's generalization performance to unseen tasks.
또한, Self-Instruct training을 다른 공개적으로 사용 가능한 Instruction Tuning 데이터와 비교하기 위해 T0 및 T_k_-Instruct 모델을 training하는 데 사용되는 PromptSource 및 SuperNI의 데이터로 GPT3 모델을 추가로 Fine-tuning합니다. 각각을 짧게 T0 training 및 SuperNI training이라고 부릅니다. Training 예산을 절약하기 위해 각 데이터 세트에 대해 50,000개의 인스턴스(그러나 모든 Instruction을 포함)를 샘플링했으며, 이는 우리가 생성한 Instruction 데이터와 비슷한 크기입니다. Wang 등(2022)의 연구 결과와 초기 실험에 따르면, Training 작업당 인스턴스 수를 줄여도 보이지 않는 작업에 대한 모델의 일반화 성능이 저하되지 않습니다.
또한, Self-Instruct 트레이닝을 다른 공개적으로 사용 가능한 지침 튜닝 데이터와 비교하기 위해 T0 및 T_k_-Instruct 모델을 트레이닝하는 데 사용되는 PromptSource 및 SuperNI의 데이터로 GPT3 모델을 추가로 미세 조정합니다. 각각을 각각 짧게 T0 트레이닝 및 SuperNI 트레이닝이라고 부릅니다. 트레이닝 예산을 절약하기 위해 각 데이터 세트에 대해 50,000개의 인스턴스(그러나 모든 지침을 포함)를 샘플링했으며, 이는 우리가 생성한 지침 데이터와 비슷한 크기입니다. Wang 등(2022)의 연구 결과와 초기 실험에 따르면, 트레이닝 작업당 인스턴스 수를 줄여도 보이지 않는 작업에 대한 모델의 일반화 성능이 저하되지 않습니다.