\(\bullet\)**DeepSpeed-Chat**[196] is a fast, cost-effective, and easy-to-use system framework that enables the integration of the complete RLHF process during model training. It is featured by three major functionalities: (1) it simplifies the training and inference process for ChatGPT-like models, enabling using a simple script to implement multiple training or inference steps; (2) it replicates the training mode of InstructGPT [66] and provides a complete pipeline for three training steps (_i.e._, SFT, reward model fine-tuning, and RLHF); (3) it integrates the training engine and inference engine of Deepspeed into a unified hybrid engine (Deepspeed HE) for RLHF training, which enables seamless switch between training and inference modes, and leveraging various optimizations from DeepSpeed Inference.
\(\bullet\)**DeepSpeed-Chat**[196]은 빠르고 비용 효율적이며 사용하기 쉬운 시스템 프레임워크로, 모델 학습 중에 전체 RLHF 프로세스를 통합할 수 있습니다. (1) ChatGPT와 유사한 모델의 훈련 및 추론 프로세스를 간소화하여 간단한 스크립트를 사용하여 여러 훈련 또는 추론 단계를 구현할 수 있도록 지원하고, (2) InstructGPT [66]의 훈련 모드를 복제하여 세 가지 훈련 단계(_즉, Supervised Fine-tuning (SFT), 보상 모델 Fine-tuning 및 RLHF)에 대한 완전한 파이프라인을 제공하며, (3) DeepSpeed의 훈련 엔진과 추론 엔진을 통합한 하이브리드 엔진(DeepSpeed HE)을 RLHF 훈련에 적용하여 훈련 모드와 추론 모드 간의 원활한 전환과 DeepSpeed Inference의 다양한 최적화 기능을 활용할 수 있는 것이 특징입니다.
\(\bullet\)**DeepSpeed-Chat**[196]은 빠르고 비용 효율적이며 사용하기 쉬운 시스템 프레임워크로, 모델 학습 중에 전체 RLHF 프로세스를 통합할 수 있습니다. (1) ChatGPT와 유사한 모델의 훈련 및 추론 프로세스를 간소화하여 간단한 스크립트를 사용하여 여러 훈련 또는 추론 단계를 구현할 수 있도록 지원하고, (2) InstructGPT [66]의 훈련 모드를 복제하여 세 가지 훈련 단계(_즉, SFT, 보상 모델 미세 조정 및 RLHF)에 대한 완전한 파이프라인을 제공하며, (3) 딥스피드의 훈련 엔진과 추론 엔진을 통합한 하이브리드 엔진(DeepSpeed HE)을 RLHF 훈련에 적용하여 훈련 모드와 추론 모드 간의 원활한 전환과 DeepSpeed Inference의 다양한 최적화 기능을 활용할 수 있는 것이 특징입니다.