Data Augmentation and synthetic dataEldan and Li (2023) showed that a synthetically generated dataset in the form of stories that toddlers can understand allows training a small language model that can generate coherent sentences. Gunasekar et al. (2023) showed that textbook quality (synthetic) data alone helps models achieve state-of-the-art performance on reasoning and coding tasks. Similar approaches are used in concurrent work for enhancing coding and mathematical reasoning abilities while finetuning Liu et al. (2023); Wei et al. (2023). Shumailov et al. (2023) show that training on synthetic data can actually be harmful for model performance, especially when we do multiple rounds of pre-training an LLM and then training the next LLM on data generated by the previous one. On the other hand, some other works have shown that such a strategy can actually be useful. Li et al. (2023) and Koksal et al. (2023) discuss how a model can generate instruction data and then fine-tune on its own generated data to improve performance. Jung et al. (2023) discuss how such repeated cycles of synthetic data can help train a very small paraphrase and summarization model that even outperforms GPT-3.
데이터 증강 및 합성 데이터Eldan과 Li(2023)는 유아가 이해할 수 있는 스토리 형식의 합성 데이터 세트를 통해 일관된 문장을 생성할 수 있는 소규모 언어 모델을 훈련할 수 있음을 보여주었습니다. Gunasekar 등(2023)은 교과서 품질(합성) 데이터만으로도 모델이 추론 및 코딩 작업에서 최첨단 성능을 달성하는 데 도움이 된다는 것을 보여주었습니다. 유사한 접근 방식은 코딩 및 수학적 추론 능력을 향상시키기 위한 동시 작업에서도 사용됩니다. Liu et al.(2023); Wei et al.(2023). Shumailov et al.(2023)은 합성 데이터로 훈련하는 것이 특히 LLM을 여러 번 사전 훈련한 다음 이전 모델에서 생성된 데이터로 다음 LLM을 훈련할 때 모델 성능에 해로울 수 있음을 보여줍니다. 반면에 다른 일부 연구에서는 이러한 전략이 실제로 유용할 수 있음을 보여주었습니다. Li et al.(2023)과 Koksal et al.(2023)은 모델이 Instruction 데이터를 생성한 다음 자체 생성된 데이터에 대해 Fine-tuning하여 성능을 향상시키는 방법에 대해 설명합니다. Jung et al.(2023)은 이러한 합성 데이터의 반복적인 주기가 GPT-3보다 더 나은 성능을 내는 매우 작은 의역 및 요약 모델을 훈련하는 데 어떻게 도움이 될 수 있는지에 대해 설명합니다.
데이터 증강 및 합성 데이터Eldan과 Li(2023)는 유아가 이해할 수 있는 스토리 형식의 합성 데이터 세트를 통해 일관된 문장을 생성할 수 있는 소규모 언어 모델을 훈련할 수 있음을 보여주었습니다. Gunasekar 등(2023)은 교과서 품질(합성) 데이터만으로도 모델이 추론 및 코딩 작업에서 최첨단 성능을 달성하는 데 도움이 된다는 것을 보여주었습니다. 유사한 접근 방식은 코딩 및 수학적 추론 능력을 향상시키기 위한 동시 작업에서도 사용됩니다. Liu et al.(2023); Wei et al.(2023). Shumailov et al.(2023)은 합성 데이터로 훈련하는 것이 특히 LLM을 여러 번 사전 훈련한 다음 이전 모델에서 생성된 데이터로 다음 LLM을 훈련할 때 모델 성능에 해로울 수 있음을 보여줍니다. 반면에 다른 일부 연구에서는 이러한 전략이 실제로 유용할 수 있음을 보여주었습니다. Li et al.(2023)과 Koksal et al.(2023)은 모델이 지침 데이터를 생성한 다음 자체 생성된 데이터에 대해 미세 조정하여 성능을 향상시키는 방법에 대해 설명합니다. Jung et al.(2023)은 이러한 합성 데이터의 반복적인 주기가 GPT-3보다 더 나은 성능을 내는 매우 작은 의역 및 요약 모델을 훈련하는 데 어떻게 도움이 될 수 있는지에 대해 설명합니다.