We build the infrastructure supporting the full-stack data processing, pretraining, finetuning, and serving. Our infrastructure features: (1). automated managing and monitoring the computing resource; (2). improved the training speed from optimized parallel strategies, kernel efficiency, and long-context support; (3). unified finetuning framework supporting heterogeneous distributed training backend, such as simultaneously using Megatron and DeepSpeed for multiple models in Direct Preference Optimization (DPO) [59]; (4). reducing the deployment cost by various LLM serving accelerations such as quantization, continuous batching, and paged attention. Below we explain these techniques one by one.
풀스택 데이터 처리, 사전 학습, Fine-tuning 및 서비스를 지원하는 인프라를 구축합니다. 우리 인프라의 특징은 (1). 컴퓨팅 리소스의 자동화된 관리 및 모니터링, (2). 최적화된 병렬 전략, 커널 효율성 및 긴 컨텍스트 지원을 통해 훈련 속도 향상, (3). 다양한 분산 훈련 백엔드를 지원하는 통합 Fine-tuning 프레임워크(예: Direct Preference Optimization(DPO)[59]에서 여러 모델에 대해 동시에 Megatron 및 DeepSpeed 사용) (4). Quantization, 연속 배칭, paged attention 등 다양한 LLM 서비스 가속화를 통해 배포 비용 절감. 아래에서는 이러한 기술을 하나씩 설명합니다.
풀스택 데이터 처리, 사전 학습, 미세 조정 및 서비스를 지원하는 인프라를 구축합니다. 우리 인프라의 특징은 (1). 컴퓨팅 리소스의 자동화된 관리 및 모니터링, (2). 최적화된 병렬 전략, 커널 효율성 및 긴 컨텍스트 지원을 통해 훈련 속도 향상, (3). 다양한 분산 훈련 백엔드를 지원하는 통합 미세 조정 프레임워크(예: Direct Preference Optimization(DPO)[59]에서 여러 모델에 대해 동시에 Megatron 및 DeepSpeed 사용) (4). 양자화, 연속 배칭, 페이지별 주의력 등 다양한 LLM 서비스 가속화를 통해 배포 비용 절감. 아래에서는 이러한 기술을 하나씩 설명합니다.