Where \(w_{1:T}\) is sampled from a fixed SFT model \(p_{\text{sft}}\) in the first stage, and the new data is added to the original data for the second SFT stage. While \(p\) in Eq. (3) is updated online. Singh et al. (2023) also proposes to do this two-stage method for multiple iterations.
여기서 \(w_{1:T}\)는 1단계에서 고정 Supervised Fine-tuning (SFT) 모델 \(p_{\text{sft}}\)에서 샘플링되고, 2단계 SFT를 위해 새로운 데이터가 원래 데이터에 추가된다. 이때 Eq. (3)의 \(p\)는 온라인으로 업데이트된다. Singh et al. (2023)은 이러한 2단계 방법을 여러 반복으로 수행할 것을 제안하기도 한다.
여기서 \(w_{1:T}\)는 1단계에서 고정 SFT 모델 \(p_{\text{sft}}\)에서 샘플링되고, 2단계 SFT를 위해 새로운 데이터가 원래 데이터에 추가된다. 이때 Eq. (3)의 \(p\)는 온라인으로 업데이트된다. Singh et al. (2023)은 이러한 2단계 방법을 여러 반복으로 수행할 것을 제안하기도 한다.