Benefits of Synthesized DataThere is a range of results showing benefits of AI-synthesized data in training better models, though mostly these results pertain to image data, specifically in the context of diffusion models (Azizi et al., 2023; He et al., 2023; Shipard et al., 2023; Bansal and Grover, 2023; Lin et al., 2023), though not only (see Dai et al. (2023); Xu et al. (2023); Huang et al. (2022); Wang et al. (2023) for chat-related examples). One might argue that they either throw model-collapse caution to the winds or, possibly, settle in the protected corner where mild amounts of synthetic data (or larger amounts of "mildly synthetic" data, like in the case of data augmentation) helps. In particular, often benefits of synthetic data are observed when the synthetic data is generated by a model trained for a different use case than the downstream task (like images synthesized from diffusion models helping classification models) or generated by a stronger model (He et al., 2023; Shipard et al., 2023; Bansal and Grover, 2023; Lin et al., 2023). However, other works critically analyze the purported benefit of generated data. (Burg et al., 2023) find that while synthesized data from a diffusion model helps improving downstream tasks, such as classification, using the _pre-training data_ of the diffusion model alone gives even stronger performance (which we can interpret as evidence of mild first-generation model collapse). All in all it is fair to say that the impact of data augmentation using generative models is still not fully understood.
합성 데이터의 이점더 나은 모델을 훈련하는 데 있어 AI 합성 데이터의 이점을 보여주는 다양한 결과가 있지만, 대부분 이미지 데이터, 특히 diffusion 모델의 맥락에서 이러한 결과가 나타나지만(Azizi et al., 2023; He et al., 2023; Shipard et al., 2023; Bansal and Grover, 2023; Lin et al., 2023), 이에만 국한되지 않습니다(채팅 관련 예는 Dai et al. (2023); Xu et al. (2023); Huang et al. (2022); Wang et al. (2023)). 모델 붕괴에 대한 주의를 무시하거나, 약간의 합성 데이터(또는 data augmentation의 경우처럼 '약간 합성된' 데이터의 양이 더 많이)가 도움이 되는 보호 구역에 안주할 수 있다고 주장할 수도 있습니다. 특히 합성 데이터가 다운스트림 작업과 다른 사용 사례(예: 분류 모델에 도움이 되는 diffusion 모델에서 합성된 이미지)를 위해 훈련된 모델에 의해 생성되거나 더 강력한 모델에 의해 생성될 때 합성 데이터의 이점이 관찰되는 경우가 많습니다(He et al., 2023; Shipard et al., 2023; Bansal and Grover, 2023; Lin et al., 2023). 그러나 다른 연구에서는 생성된 데이터의 이점에 대해 비판적으로 분석합니다. (Burg et al., 2023)은 diffusion 모델의 합성 데이터가 분류와 같은 다운스트림 작업을 개선하는 데 도움이 되지만, diffusion 모델의 _pre-training data_만 사용하면 더 강력한 성능을 제공한다는 사실을 발견했습니다(이는 경미한 1세대 모델 붕괴의 증거로 해석할 수 있습니다). 생성 모델을 사용한 data augmentation의 영향은 아직 완전히 이해되지 않았다고 해도 과언이 아닙니다.
합성 데이터의 이점더 나은 모델을 훈련하는 데 있어 AI 합성 데이터의 이점을 보여주는 다양한 결과가 있지만, 대부분 이미지 데이터, 특히 확산 모델의 맥락에서 이러한 결과가 나타나지만(Azizi et al., 2023; He et al., 2023; Shipard et al., 2023; Bansal and Grover, 2023; Lin et al., 2023), 이에만 국한되지 않습니다(채팅 관련 예는 Dai et al. (2023); Xu et al. (2023); Huang et al. (2022); Wang et al. (2023)). 모델 붕괴에 대한 주의를 무시하거나, 약간의 합성 데이터(또는 데이터 증강의 경우처럼 '약간 합성된' 데이터의 양이 더 많이)가 도움이 되는 보호 구역에 안주할 수 있다고 주장할 수도 있습니다. 특히 합성 데이터가 다운스트림 작업과 다른 사용 사례(예: 분류 모델에 도움이 되는 확산 모델에서 합성된 이미지)를 위해 훈련된 모델에 의해 생성되거나 더 강력한 모델에 의해 생성될 때 합성 데이터의 이점이 관찰되는 경우가 많습니다(He et al., 2023; Shipard et al., 2023; Bansal and Grover, 2023; Lin et al., 2023). 그러나 다른 연구에서는 생성된 데이터의 이점에 대해 비판적으로 분석합니다. (Burg et al., 2023)은 확산 모델의 합성 데이터가 분류와 같은 다운스트림 작업을 개선하는 데 도움이 되지만, 확산 모델의 _사전 학습 데이터_만 사용하면 더 강력한 성능을 제공한다는 사실을 발견했습니다(이는 경미한 1세대 모델 붕괴의 증거로 해석할 수 있습니다). 생성 모델을 사용한 데이터 증강의 영향은 아직 완전히 이해되지 않았다고 해도 과언이 아닙니다.