Instruction-following LMs.A series of works have found evidence that vanilla LMs can be effective at following general language instructions if tuned with annotated "instructional" data--datasets containing language instructional commands and their desired outcomes based on human annotation (Weller et al., 2020, Mishra et al., 2022, 2022, 2022, 2022, 2022, 2022, 2022). Additionally, they show a direct correlation between the size and diversity of the "instructional" data and the generalizability of resulting models to unseen tasks (Wang et al., 2022, 2022). However, since these developments largely focus on existing NLP tasks and depend on human-annotated instructions, this poses a bottleneck for progress toward more generalizable models (e.g., see Fig. 5a in Wang et al., 2022). Our work aims to move beyond classical NLP tasks and tackle the challenges of creating diverse instruction data by employing pretrained LMs. InstructGPT (Ouyang et al., 2022) shares a similar goal as ours in building more general-purpose LMs, and has demonstrated remarkable performance in following diverse user instructions. However, as a commercial system, their construction process still remains quite opaque. In particular, the role of _data_ has remained understudied due to limited transparency and the private user data they used in their study. Addressing such challenges necessitates the creation of a large-scale, public dataset covering a broad range of tasks.
명령어를 따르는 LMs. 일련의 연구에서, annotation된 "instructional" 데이터(인간의 주석을 기반으로 한 언어 명령어와 원하는 결과가 포함된 데이터 세트)로 조정하면 일반적인 언어 명령어를 효과적으로 따를 수 있다는 증거를 발견했습니다(Weller et al., 2020, Mishra et al., 2022, 2022, 2022, 2022, 2022, 2022, 2022, 2022, 2022). 또한, "instructional" 데이터의 규모와 다양성과 결과 모델이 보이지 않는 작업에 대한 일반화 가능성 사이에는 직접적인 상관관계가 있는 것으로 나타났습니다(Wang et al., 2022, 2022). 그러나 이러한 개발은 대부분 기존 NLP 작업에 초점을 맞추고 있으며 인간이 주석을 달아야 하는 instruction에 의존하기 때문에 보다 일반화 가능한 모델을 향한 진전에 병목 현상을 초래합니다(예: Wang et al., 2022의 그림 5a 참조). 우리의 연구는 기존 NLP 작업을 넘어서 사전 학습된 LMs을 사용하여 다양한 instruction 데이터를 생성하는 문제를 해결하는 것을 목표로 합니다. InstructGPT(Ouyang et al., 2022)는 보다 범용적인 LMs을 구축하는 것에 있어 우리와 비슷한 목표를 공유하며, 다양한 사용자 instruction을 따르는 놀라운 성능을 입증했습니다. 그러나 상용 시스템으로서 그 구축 과정은 여전히 상당히 불투명합니다. 특히, 제한된 투명성과 연구에 사용된 비공개 사용자 데이터로 인해 _data_의 역할은 아직 연구되지 않은 채로 남아 있습니다. 이러한 문제를 해결하려면 광범위한 작업을 포괄하는 대규모 공개 데이터 세트를 만들어야 합니다.
명령어를 따르는 LM.일련의 연구에서, annotation된 '명령어' 데이터(인간의 주석을 기반으로 한 언어 명령어와 원하는 결과가 포함된 데이터 세트)로 조정하면 일반적인 언어 명령어를 효과적으로 따를 수 있다는 증거를 발견했습니다(Weller et al., 2020, Mishra et al., 2022, 2022, 2022, 2022, 2022, 2022, 2022, 2022, 2022). 또한, '명령어' 데이터의 규모와 다양성과 결과 모델이 보이지 않는 작업에 대한 일반화 가능성 사이에는 직접적인 상관관계가 있는 것으로 나타났습니다(Wang et al., 2022, 2022). 그러나 이러한 개발은 대부분 기존 NLP 작업에 초점을 맞추고 있으며 인간이 주석을 달아야 하는 명령어에 의존하기 때문에 보다 일반화 가능한 모델을 향한 진전에 병목 현상을 초래합니다(예: Wang et al., 2022의 그림 5a 참조). 우리의 연구는 기존 NLP 작업을 넘어서 사전 학습된 LM을 사용하여 다양한 명령어 데이터를 생성하는 문제를 해결하는 것을 목표로 합니다. InstructGPT(Ouyang et al., 2022)는 보다 범용적인 LM을 구축하는 것에 있어 우리와 비슷한 목표를 공유하며, 다양한 사용자 명령을 따르는 놀라운 성능을 입증했습니다. 그러나 상용 시스템으로서 그 구축 과정은 여전히 상당히 불투명합니다. 특히, 제한된 투명성과 연구에 사용된 비공개 사용자 데이터로 인해 _데이터_의 역할은 아직 연구되지 않은 채로 남아 있습니다. 이러한 문제를 해결하려면 광범위한 작업을 포괄하는 대규모 공개 데이터 세트를 만들어야 합니다.