Groundbreaking advances in generative AI algorithms for text, images and code are ushering in the "synthetic data age": increasingly we consume data generated by large scale models like GPT4 (Achiam et al., 2023), Stable Diffusion (Rombach et al., 2022) and their successors. At the same time a key driver behind the current success of large models is their consumption of massive amount of web-scale data for training. The improvements of larger models are governed by scaling laws in which error falls off as a power in the size of training data; and the emergence of new skills seems tightly linked to covering increased scales of training data. Our understanding of what the future holds in a world were models are trained on other models (or their own) synthesized data is only at its beginning, but some works indicate the possibility of complete collapse of learning, so called model collapse1.
텍스트, 이미지, 코드용 생성 AI 알고리즘의 획기적인 발전으로 '합성 데이터 시대'가 열리고 있습니다: 점점 더 많은 사람들이 GPT4(Achiam 등, 2023), Stable Diffusion(Rombach 등, 2022)과 같은 대규모 모델이 생성한 데이터를 소비하게 되었습니다. 동시에 대규모 모델의 현재 성공의 주요 동인은 훈련을 위해 방대한 양의 웹 스케일 데이터를 소비한다는 점입니다. 더 큰 모델의 개선은 훈련 데이터의 크기에서 오류가 거듭제곱으로 감소하는 scaling laws에 의해 지배되며, 새로운 기술의 등장은 훈련 데이터의 규모가 확대되는 것과 밀접한 관련이 있는 것으로 보입니다. 모델이 다른 모델 또는 자체 합성 데이터로 학습하는 세상의 미래에 대한 우리의 이해는 이제 막 시작되었지만, 일부 연구에서는 학습의 완전한 붕괴, 즉 모델 붕괴1의 가능성을 나타냅니다.
텍스트, 이미지, 코드용 생성 AI 알고리즘의 획기적인 발전으로 '합성 데이터 시대'가 열리고 있습니다: 점점 더 많은 사람들이 GPT4(Achiam 등, 2023), Stable Diffusion(Rombach 등, 2022)과 같은 대규모 모델이 생성한 데이터를 소비하게 되었습니다. 동시에 대규모 모델의 현재 성공의 주요 동인은 훈련을 위해 방대한 양의 웹 스케일 데이터를 소비한다는 점입니다. 더 큰 모델의 개선은 훈련 데이터의 크기에서 오류가 거듭제곱으로 감소하는 스케일링 법칙에 의해 지배되며, 새로운 기술의 등장은 훈련 데이터의 규모가 확대되는 것과 밀접한 관련이 있는 것으로 보입니다. 모델이 다른 모델 또는 자체 합성 데이터로 학습하는 세상의 미래에 대한 우리의 이해는 이제 막 시작되었지만, 일부 연구에서는 학습의 완전한 붕괴, 즉 모델 붕괴1의 가능성을 나타냅니다.