Meanwhile, the use of synthetic data has gained prominence in the paradigm of aligning pre-trained LLMs via instruction fine-tuning, RLHF (Ouyang et al., 2022), and instruction backtranslation (Li et al., 2023b). Recently, in the context of pre-training, synthetic datawas used to generate datasets such as Tiny Stories (Eldan & Li, 2023) and Textbook quality synthetic data (Gunasekar et al., 2023; Li et al., 2023c). These were used to train smaller language models (like the Phi model family) that were as performant as larger language models on certain tasks. However, their data generation process stays largely opaque, and prohibitively expensive, requiring prompting a GPT-3.5 model for generating billions of tokens. Additionally, such data generation can create a large "knowledge bias" by specifically generating data pertaining to tasks that we want to perform well on. While synthetic data has shown promise, it is unclear if this is because of the higher quality nature of synthetic data, or because of strategic topic selection (Maini, 2023).
한편, Instruction Fine-tuning, RLHF(Ouyang et al., 2022), Instruction backtranslation(Li et al., 2023b)을 통해 사전 학습된 LLM을 조정하는 패러다임에서 합성 데이터의 사용이 주목받고 있습니다. 최근에는 사전 학습의 맥락에서 합성 데이터를 사용하여 Tiny Stories(Eldan & Li, 2023) 및 Textbook quality synthetic data(Gunasekar et al., 2023; Li et al., 2023c)와 같은 데이터 세트를 생성했습니다. 이러한 데이터는 특정 작업에서 더 큰 언어 모델만큼 성능이 뛰어난 더 작은 언어 모델(Phi 모델 제품군과 같은)을 훈련하는 데 사용되었습니다. 그러나 이러한 데이터 생성 프로세스는 여전히 불투명하고 막대한 비용이 소요되어 수십억 개의 토큰을 생성하기 위해 GPT-3.5 모델에 프롬프트를 보내야 합니다. 또한 이러한 데이터 생성은 특정 작업과 관련된 데이터를 생성함으로써 큰 '지식 편향'을 초래할 수 있습니다. 합성 데이터는 가능성을 보여주었지만, 이것이 합성 데이터의 품질이 더 높기 때문인지 아니면 전략적인 주제 선택 때문인지는 확실하지 않습니다(Maini, 2023).
한편, 지침 미세 조정, RLHF(Ouyang et al., 2022), 지침 역번역(Li et al., 2023b)을 통해 사전 학습된 LLM을 조정하는 패러다임에서 합성 데이터의 사용이 주목받고 있습니다. 최근에는 사전 학습의 맥락에서 합성 데이터를 사용하여 Tiny Stories(Eldan & Li, 2023) 및 텍스트북 품질 합성 데이터(Gunasekar et al., 2023; Li et al., 2023c)와 같은 데이터 세트를 생성했습니다. 이러한 데이터는 특정 작업에서 더 큰 언어 모델만큼 성능이 뛰어난 더 작은 언어 모델(Phi 모델 제품군과 같은)을 훈련하는 데 사용되었습니다. 그러나 이러한 데이터 생성 프로세스는 여전히 불투명하고 막대한 비용이 소요되어 수십억 개의 토큰을 생성하기 위해 GPT-3.5 모델에 프롬프트를 보내야 합니다. 또한 이러한 데이터 생성은 특정 작업과 관련된 데이터를 생성함으로써 큰 '지식 편향'을 초래할 수 있습니다. 합성 데이터는 가능성을 보여주었지만, 이것이 합성 데이터의 품질이 더 높기 때문인지 아니면 전략적인 주제 선택 때문인지는 확실하지 않습니다(Maini, 2023).