In terms of fine-tuning, whether through Supervised Fine Tuning (SFT) or Reinforcement Learning (RL), the primary aim is to gather high-quality supervisory signals for model improvement. For SFT, the approach generally involves leveraging larger models or manual efforts to collect high-quality data (An et al., 2023; Yu et al., 2023; Yue et al., 2023; Luo et al., 2023). MetaMath(Yu et al., 2023; Gou et al., 2023) augments its dataset by rewriting mathematical queries and provide answers with the help of an LLM. It also leverages backward reasoning to enhance the model's capabilities. MAmmoTH(Yue et al., 2023) compiles diverse mathematical datasets for training, enriching them with Chains of Thought (CoT) and Programs of Thought (PoT) rationales for reasoning. RL-based methods strive to gather superior training signals through self-sampling and reward supervision. Lightman et al. (2023) proposes to use process supervision to give more precise signals than outcome supervision. Some strategies adopt the process supervision into the online RL training (Wang et al., 2023b; Xi et al., 2024; Luo et al., 2023). RFT(Yuan et al., 2023) is a simplified offline method of standard online RL. It enhances its training dataset with accurate reasoning paths by generating and collecting them via a SFT model. This approach is further extended by ReST (Singh et al., 2023) through an iterative process.
미세 조정의 경우, Supervised Fine-tuning (SFT) 또는 Reinforcement Learning (RL)을 통해 모델 개선을 위한 고품질 감독 신호를 수집하는 것이 주요 목표입니다. SFT의 경우, 일반적으로 더 큰 모델을 활용하거나 수동으로 노력하여 고품질 데이터를 수집하는 방식을 취합니다(An et al., 2023; Yu et al., 2023; Yue et al., 2023; Luo et al., 2023). MetaMath(Yu et al., 2023; Gou et al., 2023)는 수학적 쿼리를 다시 작성하여 LLM의 도움을 받아 답을 제공함으로써 데이터 세트를 확장합니다. 또한 역 추론을 활용하여 모델의 기능을 향상시킵니다. MAmmoTH(Yue et al., 2023)는 학습을 위해 다양한 수학 데이터 세트를 컴파일하고 추론을 위한 Chains of Thought (CoT)과 Programs of Thought (PoT) 근거로 이를 강화합니다. RL 기반 방법은 자체 샘플링과 보상 감독을 통해 더 우수한 훈련 신호를 수집하기 위해 노력합니다. Lightman 등(2023)은 결과 감독보다 더 정확한 신호를 제공하기 위해 프로세스 감독을 사용할 것을 제안합니다. 일부 전략에서는 온라인 RL 훈련에 프로세스 감독을 채택합니다(Wang et al., 2023b; Xi et al., 2024; Luo et al., 2023). RFT(Yuan et al., 2023)는 표준 온라인 RL의 간소화된 오프라인 방법입니다. 이 방법은 SFT 모델을 통해 생성하고 수집한 정확한 추론 경로로 훈련 데이터 세트를 향상시킵니다. 이 접근 방식은 반복 프로세스를 통해 ReST(Singh et al., 2023)에 의해 더욱 확장되었습니다.
미세 조정의 경우, 지도 미세 조정(SFT) 또는 강화 학습(RL)을 통해 모델 개선을 위한 고품질 감독 신호를 수집하는 것이 주요 목표입니다. SFT의 경우, 일반적으로 더 큰 모델을 활용하거나 수동으로 노력하여 고품질 데이터를 수집하는 방식을 취합니다(An et al., 2023; Yu et al., 2023; Yue et al., 2023; Luo et al., 2023). MetaMath(Yu et al., 2023; Gou et al., 2023)는 수학적 쿼리를 다시 작성하여 LLM의 도움을 받아 답을 제공함으로써 데이터 세트를 확장합니다. 또한 역 추론을 활용하여 모델의 기능을 향상시킵니다. MAmmoTH(Yue et al., 2023)는 학습을 위해 다양한 수학 데이터 세트를 컴파일하고 추론을 위한 생각의 사슬(CoT)과 생각의 프로그램(PoT) 근거로 이를 강화합니다. RL 기반 방법은 자체 샘플링과 보상 감독을 통해 더 우수한 훈련 신호를 수집하기 위해 노력합니다. Lightman 등(2023)은 결과 감독보다 더 정확한 신호를 제공하기 위해 프로세스 감독을 사용할 것을 제안합니다. 일부 전략에서는 온라인 RL 훈련에 프로세스 감독을 채택합니다(Wang et al., 2023b; Xi et al., 2024; Luo et al., 2023). RFT(Yuan et al., 2023)는 표준 온라인 RL의 간소화된 오프라인 방법입니다. 이 방법은 SFT 모델을 통해 생성하고 수집한 정확한 추론 경로로 훈련 데이터 세트를 향상시킵니다. 이 접근 방식은 반복 프로세스를 통해 ReST(Singh et al., 2023)에 의해 더욱 확장되었습니다.