Results.Figure 6 shows the performance of GPT3 model and its instruction-tuned counterparts on this newly written instruction set (w. inter-rater agreement \(\kappa=0.57\) on the 4-class categorical scale, see Appendix B for details). As anticipated, the vanilla GPT3 LM is largely unable to respond to instructions, and all instruction-tuned models demonstrate comparatively higher performance. Nonetheless, GPT3SELF-INST (i.e., GPT3 model finetuned with Self-INstruct) outperforms those counterparts trained on T0 or SuperNI data by a large margin, demonstrating the value of the generated data despite the noise. Compared with InstructGPT001, GPT3SELF-INST is quite close in performance--if we count acceptable response with minor imperfections (Rating-B) as valid, GPT3SELF-INST is only 5% behind InstructGPT001. Lastly, our evaluation confirms the impressive instruction-following ability of InstructGPT002 and InstructGPT003. Although there are many factors behind this success, we conjecture that future work can largely benefit from improving the quality of our generated data by using human annotators or training a reward model to select better generations, similar to the algorithm used by Ouyang et al. (2022).
결과. 그림 6은 새로 작성된 instruction 집합에 대해 GPT3 모델과 그 instruction-tuned 모델의 성능을 보여줍니다(4등급 범주형 척도에서 rater 간 일치도 \(\kappa=0.57\), 자세한 내용은 부록 B 참조). 예상대로, 바닐라 GPT3 LM은 instruction에 대응하지 못하며, 모든 instruction-tuned 모델은 상대적으로 높은 성능을 보여줍니다. 그럼에도 불구하고 GPT3SELF-INST(즉, Self-INstruct로 Fine-tuning된 GPT3 모델)는 T0 또는 SuperNI 데이터로 훈련된 대응보다 훨씬 뛰어난 성능을 보여주며, 노이즈에도 불구하고 생성된 데이터의 가치를 입증합니다. InstructGPT001과 비교했을 때, GPT3SELF-INST는 성능이 상당히 근접합니다. 약간의 불완전성(등급-B)을 갖춘 허용 가능한 응답을 유효한 것으로 간주한다면, GPT3SELF-INST는 InstructGPT001보다 5% 뒤처질 뿐입니다. 마지막으로, 이번 평가를 통해 InstructGPT002와 InstructGPT003의 인상적인 instruction 수행 능력을 확인할 수 있었습니다. 이러한 성공에는 여러 가지 요인이 있지만, 향후 연구에서는 인간 주석가를 사용하거나 Ouyang 등(2022)이 사용한 알고리즘과 유사하게 보상 모델을 훈련하여 더 나은 생성을 선택함으로써 생성된 데이터의 품질을 개선하는 데 큰 도움이 될 수 있을 것으로 예상됩니다.
결과. 그림 6은 새로 작성된 명령어 집합에 대해 GPT3 모델과 그 명령어에 맞게 조정된 모델의 성능을 보여줍니다(4등급 범주형 척도에서 rater 간 일치도 \(\kappa=0.57\), 자세한 내용은 부록 B 참조). 예상대로, 바닐라 GPT3 LM은 명령에 대응하지 못하며, 모든 명령 조정 모델은 상대적으로 높은 성능을 보여줍니다. 그럼에도 불구하고 GPT3SELF-INST(즉, Self-INstruct로 미세 조정된 GPT3 모델)는 T0 또는 SuperNI 데이터로 훈련된 대응보다 훨씬 뛰어난 성능을 보여주며, 노이즈에도 불구하고 생성된 데이터의 가치를 입증합니다. InstructGPT001과 비교했을 때, GPT3SELF-INST는 성능이 상당히 근접합니다. 약간의 불완전성(등급-B)을 갖춘 허용 가능한 응답을 유효한 것으로 간주한다면, GPT3SELF-INST는 InstructGPT001보다 5% 뒤처질 뿐입니다. 마지막으로, 이번 평가를 통해 InstructGPT002와 InstructGPT003의 인상적인 명령어 수행 능력을 확인할 수 있었습니다. 이러한 성공에는 여러 가지 요인이 있지만, 향후 연구에서는 인간 주석가를 사용하거나 Ouyang 등(2022)이 사용한 알고리즘과 유사하게 보상 모델을 훈련하여 더 나은 생성을 선택함으로써 생성된 데이터의 품질을 개선하는 데 큰 도움이 될 수 있을 것으로 예상됩니다.