from pretraining to finetuning to serving. To support pretraining, we develop cross-cloud elastic task scheduling, automatic failure recovery, and topology-aware resource allocation which collectively enable us to run tasks according to the real-time available GPU nodes cross clusters with limited switching overhead. To support finetuning, we build a hierarchical scheduling framework supporting different distributed backends for different models (e.g., Megatron [70] for the policy model and DeepSpeed [60] for the reward model). For efficient inference, we use 4-bit model and 8-bit KV cache quantization, combining with PagedAttention [41] and Dynamic Batching.
사전 학습에서 Fine-tuning에 이르기까지. 사전 학습을 지원하기 위해 cross-cloud elastic task scheduling, automatic failure recovery, topology-aware resource allocation을 개발하여 제한된 전환 오버헤드로 클러스터 간 실시간 사용 가능한 GPU 노드에 따라 작업을 실행할 수 있도록 합니다. Fine-tuning을 지원하기 위해 다양한 모델에 대해 서로 다른 분산 백엔드를 지원하는 계층적 스케줄링 프레임워크를 구축합니다(예: 정책 모델의 경우 Megatron [70], 보상 모델의 경우 DeepSpeed [60]). 효율적인 추론을 위해 4-bit 모델과 8-bit KV cache quantization을 사용하여 PagedAttention [41] 및 Dynamic Batching과 결합합니다.
사전 학습에서 미세 조정에 이르기까지. 사전 학습을 지원하기 위해 클로스 클라우드 탄력적 작업 스케줄링, 자동 장애 복구, 토폴로지 인식 리소스 할당을 개발하여 제한된 전환 오버헤드로 클러스터 간 실시간 사용 가능한 GPU 노드에 따라 작업을 실행할 수 있도록 합니다. 미세 조정을 지원하기 위해 다양한 모델에 대해 서로 다른 분산 백엔드를 지원하는 계층적 스케줄링 프레임워크를 구축합니다(예: 정책 모델의 경우 Megatron [70], 보상 모델의 경우 DeepSpeed [60]). 효율적인 추론을 위해 4비트 모델과 8비트 KV 캐시 양자화를 사용하여 PagedAttention [41] 및 Dynamic Batching과 결합합니다.