before by NLP practitioners (though potentially still important for real users). In parallel with our work, Honovich et al. (2022) also propose to generate large-scale instruction data (so-called Unnatural Instructions) with GPT3 models. The major differences are that 1) they use tasks in SuperNI Wang et al. (2022) as their seed tasks, resulting in a different distribution of generated tasks; 2) they employ InstructGPT\({}_{002}\) for generating the data, in which sense they are distilling knowledge from an already instruction-tuned model, while we solely rely on the vanilla LM; 3) the detailed generation pipeline and templates are different. Nevertheless, we believe that both efforts in expanding instruction data are complementary, and the community will benefit from these diverse datasets.
NLP 실무자들에 의해(잠재적으로 실제 사용자에게는 여전히 중요할 수 있지만) 우리의 연구와 병행하여 Honovich et al.(2022)도 GPT3 모델로 대규모 instruction 데이터(소위 Unnatural Instructions)를 생성할 것을 제안합니다. 주요 차이점은 1) SuperNI Wang et al. (2022)의 작업을 시드 작업으로 사용하여 생성된 작업의 분포가 다르고, 2) 데이터 생성에 InstructGPT\({}_{002}\)를 사용하여 이미 instruction-tuned 모델에서 지식을 증류하는 반면, 우리는 순수하게 바닐라 LM에 의존하고, 3) 세부적인 생성 파이프라인과 템플릿이 다르다는 점입니다. 그럼에도 불구하고 instruction 데이터를 확장하려는 두 노력은 상호 보완적이며, 커뮤니티는 이러한 다양한 데이터 세트를 통해 이익을 얻을 수 있을 것으로 믿습니다.
NLP 실무자들에 의해(잠재적으로 실제 사용자에게는 여전히 중요할 수 있지만) 우리의 연구와 병행하여 Honovich et al.(2022)도 GPT3 모델로 대규모 명령어 데이터(소위 Unnatural Instructions)를 생성할 것을 제안합니다. 주요 차이점은 1) SuperNI Wang et al. (2022)의 작업을 시드 작업으로 사용하여 생성된 작업의 분포가 다르고, 2) 데이터 생성에 InstructGPT\({}_{002}\)를 사용하여 이미 명령어로 튜닝된 모델에서 지식을 증류하는 반면, 우리는 순수하게 바닐라 LM에 의존하고, 3) 세부적인 생성 파이프라인과 템플릿이 다르다는 점입니다. 그럼에도 불구하고 명령어 데이터를 확장하려는 두 노력은 상호 보완적이며, 커뮤니티는 이러한 다양한 데이터 세트를 통해 이익을 얻을 수 있을 것으로 믿습니다.