Finetuning FrameworkDifferent from pretraining, finetuning LLMs may require the orchestration of multiple models, as is the practice of DPO [59] and PPO [54]. In such training jobs, a typical process is to use reference/reward model to predict a batch of data (which also requires nontrivial time), then let the target model use this data to calculate loss and update parameters. To this end, we build a multi-model scheduling framework to support multiple backends for different LLMs in a single job. For example, when finetuning a language model with DPO, the intermediate results from the reference model can be cached and reused, improving the training speed and resource cost to be close to the supervised finetuning counterparts.
파인튜닝 프레임워크사전 학습과 달리, Fine-tuning LLM에는 DPO [59] 및 PPO [54]의 관행과 같이 여러 모델의 오케스트레이션이 필요할 수 있습니다. 이러한 훈련 작업의 일반적인 프로세스는 참조/보상 모델을 사용하여 일괄 데이터를 예측한 다음(이 역시 비 사소한 시간이 필요함) 대상 모델이 이 데이터를 사용하여 Loss를 계산하고 매개변수를 업데이트하는 것입니다. 이를 위해 단일 작업에서 다양한 LLM에 대해 여러 백엔드를 지원하는 다중 모델 스케줄링 프레임워크를 구축했습니다. 예를 들어, DPO로 언어 모델을 Fine-tuning할 때 참조 모델의 중간 결과를 캐시하고 재사용할 수 있으므로 훈련 속도와 리소스 비용을 개선하여 Supervised Fine-tuning에 근접할 수 있습니다.
파인튜닝 프레임워크사전 학습과 달리, 파인튜닝 LLM에는 DPO [59] 및 PPO [54]의 관행과 같이 여러 모델의 오케스트레이션이 필요할 수 있습니다. 이러한 훈련 작업의 일반적인 프로세스는 참조/보상 모델을 사용하여 일괄 데이터를 예측한 다음(이 역시 비 사소한 시간이 필요함) 대상 모델이 이 데이터를 사용하여 손실을 계산하고 매개변수를 업데이트하는 것입니다. 이를 위해 단일 작업에서 다양한 LLM에 대해 여러 백엔드를 지원하는 다중 모델 스케줄링 프레임워크를 구축했습니다. 예를 들어, DPO로 언어 모델을 미세 조정할 때 참조 모델의 중간 결과를 캐시하고 재사용할 수 있으므로 훈련 속도와 리소스 비용을 개선하여 지도 미세 조정에 근접할 수 있습니다.