Computing Resources ManagementTo efficient schedule large-scale language model development, particularly pretraining, which may take months on thousands of GPUs, we build a highly efficient multi-cloud task scheduling algorithm to manage pre-training, SFT, and RLHF tasks of different priorities. We also build a high-performance in-house training framework that allows us to automatically elastic scale the pre-train jobs to different node sizes based on the GPU availability. More importantly, all the training-related hyper-parameters will be scaled at the same time seamlessly.
컴퓨팅 리소스 관리수천 개의 GPU에서 몇 달이 걸릴 수 있는 대규모 언어 모델 개발, 특히 pretraining을 효율적으로 예약하기 위해 다양한 우선순위의 pre-training, Supervised Fine-tuning (SFT) 및 Reinforcement Learning from Human Feedback (RLHF) 작업을 관리할 수 있는 매우 효율적인 multi-cloud task scheduling algorithm을 구축했습니다. 또한 GPU 가용성에 따라 pre-train 작업을 다양한 노드 크기로 자동 탄력적으로 확장할 수 있는 고성능 사내 학습 프레임워크를 구축했습니다. 더 중요한 것은 모든 학습 관련 hyper-parameters가 원활하게 동시에 확장된다는 점입니다.
컴퓨팅 리소스 관리수천 개의 GPU에서 몇 달이 걸릴 수 있는 대규모 언어 모델 개발, 특히 사전 학습을 효율적으로 예약하기 위해 다양한 우선순위의 사전 학습, SFT 및 RLHF 작업을 관리할 수 있는 매우 효율적인 멀티 클라우드 작업 스케줄링 알고리즘을 구축했습니다. 또한 GPU 가용성에 따라 사전 학습 작업을 다양한 노드 크기로 자동 탄력적으로 확장할 수 있는 고성능 사내 학습 프레임워크를 구축했습니다. 더 중요한 것은 모든 학습 관련 하이퍼 파라미터가 원활하게 동시에 확장된다는 점입니다.