struction data generated by real human users, OpenAI's LLMs (e.g., InstructGPT [2] and ChatGPT 4) have achieved great success. These open-domain instructions can fully unleash the unlimited potential of LLMs [14, 15, 16, 17] and enable them to perform more complex and diverse tasks. However, using humans to create open-domain instruction datasets like OpenAI did will encounter the following challenges. The whole annotating process is extremely expensive and time-consuming [18, 19, 20, 21]. On the other hand, the difficulty level distribution of human-created instructions is skewed towards being easy or moderate, with fewer difficult ones (according to the difficulty statistics of ShareGPT [22] from Figure (a)a). Possible reasons for this are that the proportion of experts among annotators is low and creating complex instructions demands a lot of mental effort. Human annotators are prone to fatigue and cannot sustain high-intensity work to produce a sufficient proportion of high-difficulty instructions [23, 24, 25, 26]. Based on these issues, developing an automatic method that can mass-produce open-domain instructions (especially the more difficult ones) at a relatively low cost becomes the key to further advancing instruction-tuned language models [27, 28, 29, 30].
실제 인간 사용자가 생성한 instruction 데이터에 기반한 OpenAI의 LLM(예: InstructGPT [2] 및 ChatGPT 4)은 큰 성공을 거두었습니다. 이러한 오픈 도메인 instructions는 LLM의 무한한 잠재력을 완전히 발휘할 수 있으며[14, 15, 16, 17] 보다 복잡하고 다양한 작업을 수행할 수 있게 해줍니다. 하지만 OpenAI가 그랬던 것처럼 인간을 동원해 오픈 도메인 instruction 데이터 세트를 만들면 다음과 같은 문제가 발생합니다. 전체 주석 달기 프로세스는 엄청나게 비용이 많이 들고 시간이 많이 걸립니다[18, 19, 20, 21]. 반면, 인간이 만든 instructions의 난이도 분포는 쉬운 명령어나 보통 수준의 명령어에 치우쳐 있으며, 어려운 명령어는 적습니다(그림 (a)a의 ShareGPT [22]의 난이도 통계에 따르면). 이러한 이유로 주석 작성자 중 전문가의 비율이 낮고 복잡한 instructions를 작성하려면 많은 정신적 노력이 필요하기 때문일 수 있습니다. 인간 주석 작성자는 피로에 취약하며 고강도 작업을 유지하여 충분한 비율의 고난이도 instructions를 생성할 수 없습니다[23, 24, 25, 26]. 이러한 문제를 바탕으로 비교적 저렴한 비용으로 오픈 도메인 instructions(특히 어려운 명령어)를 대량 생산할 수 있는 자동 방법을 개발하는 것이 instruction-tuned 언어 모델을 더욱 발전시키는 열쇠가 됩니다[27, 28, 29, 30].
실제 인간 사용자가 생성한 구조 데이터에 기반한 OpenAI의 LLM(예: InstructGPT [2] 및 ChatGPT 4)은 큰 성공을 거두었습니다. 이러한 오픈 도메인 명령어는 LLM의 무한한 잠재력을 완전히 발휘할 수 있으며[14, 15, 16, 17] 보다 복잡하고 다양한 작업을 수행할 수 있게 해줍니다. 하지만 OpenAI가 그랬던 것처럼 인간을 동원해 오픈 도메인 명령어 데이터 세트를 만들면 다음과 같은 문제가 발생합니다. 전체 주석 달기 프로세스는 엄청나게 비용이 많이 들고 시간이 많이 걸립니다[18, 19, 20, 21]. 반면, 인간이 만든 명령어의 난이도 분포는 쉬운 명령어나 보통 수준의 명령어에 치우쳐 있으며, 어려운 명령어는 적습니다(그림 (a)a의 ShareGPT [22]의 난이도 통계에 따르면). 이러한 이유로 주석 작성자 중 전문가의 비율이 낮고 복잡한 명령어를 작성하려면 많은 정신적 노력이 필요하기 때문일 수 있습니다. 인간 주석 작성자는 피로에 취약하며 고강도 작업을 유지하여 충분한 비율의 고난이도 지침을 생성할 수 없습니다[23, 24, 25, 26]. 이러한 문제를 바탕으로 비교적 저렴한 비용으로 오픈 도메인 명령어(특히 어려운 명령어)를 대량 생산할 수 있는 자동 방법을 개발하는 것이 지시 튜닝 언어 모델을 더욱 발전시키는 열쇠가 됩니다[27, 28, 29, 30].