1. The cost of synthetic data generation is a one-time investment, and we may train many models of varying scales once the data is generated. 2. Data generation is 100% parallelizable, whereas training requires the availability of a big cluster with fast inter-node connectivity. This is much more expensive. On the other hand, generation can be thought of as a side process that can fill in the empty GPUs in any large-scale compute cluster, and runs on single GPU machines.
1. 합성 데이터 생성 비용은 일회성 투자이며, 데이터가 생성되면 다양한 규모의 여러 모델을 훈련시킬 수 있습니다. 2. 데이터 생성은 100% 병렬화가 가능하지만, 훈련은 빠른 노드 간 연결을 갖춘 대규모 클러스터가 필요합니다. 이는 훨씬 더 비용이 많이 듭니다. 반면, 생성은 대규모 컴퓨팅 클러스터의 빈 GPU를 채울 수 있는 부수적인 프로세스로 생각할 수 있으며, 단일 GPU 머신에서도 실행됩니다.
1. 합성 데이터 생성 비용은 일회성 투자이며, 데이터가 생성되면 다양한 규모의 모델을 많이 학습할 수 있습니다. 2. 데이터 생성은 100% 병렬화할 수 있는 반면, 학습에는 노드 간 연결 속도가 빠른 대규모 클러스터가 필요합니다. 이는 훨씬 더 비쌉니다. 반면에 생성은 대규모 컴퓨팅 클러스터에서 빈 GPU를 채울 수 있는 부수적인 프로세스로 생각할 수 있으며, 단일 GPU 컴퓨팅에서 실행됩니다.