**ZeRO:** In [140], Rajbhandari et al. developed a novel solution, Zero Redundancy Optimizer (ZeRO), to optimize memory, vastly improving training speed of LLMs while increasing the model size that can be efficiently trained. ZeRO eliminates memory redundancies in data- and model-parallel training while retaining low communication volume and high computational granularity, allowing one to scale the model size proportional to the number of devices with sustained high efficiency.
**ZeRO:** Rajbhandari 등은 [140]에서 메모리를 최적화하는 새로운 솔루션인 Zero Redundancy Optimizer (ZeRO)를 개발하여 LLM의 훈련 속도를 크게 개선하는 동시에 효율적으로 훈련할 수 있는 모델 크기를 늘렸습니다. ZeRO는 데이터 및 모델 병렬 훈련에서 메모리 중복을 제거하면서도 낮은 통신량과 높은 계산 세분성을 유지하므로 장치 수에 비례하여 모델 크기를 확장할 수 있습니다.
**ZeRO:** Rajbhandari 등은 [140]에서 메모리를 최적화하는 새로운 솔루션인 제로 리던던시 최적화(ZeRO)를 개발하여 LLM의 훈련 속도를 크게 개선하는 동시에 효율적으로 훈련할 수 있는 모델 크기를 늘렸습니다. ZeRO는 데이터 및 모델 병렬 훈련에서 메모리 중복을 제거하면서도 낮은 통신량과 높은 계산 세분성을 유지하므로 장치 수에 비례하여 모델 크기를 확장할 수 있습니다.