**Training Settings.** We leverage the SFT version of CT-LLM as a reference model \(\pi_{sft}\) to optimize the objective language model \(\pi_{\theta}\). \(\pi_{\theta}\) is initialized by the model parameters of the \(\pi_{sft}\). We set the hyperparameters as follows: 1. The \(\pi_{\theta}\) is trained on 8 H800, 2. learning rate \(=1e-6\), 3. batch size \(=4\), 4. epoch numbers \(=2\), 5. weight decay \(=0.1\), 6. warmup ratio \(=0.03\), 7. \(\beta=0.5\) to control the deviation from \(\pi_{sft}\).
**Training Settings.** 우리는 참조 모델 \(\pi_{sft}\)로 CT-LLM의 SFT 버전을 레버리지하여 목적 언어 모델 \(\pi_{\theta}\)를 최적화합니다. \(\pi_{\theta}\)는 \(\pi_{sft}\)의 모델 파라미터로 초기화됩니다. 하이퍼파라미터는 다음과 같이 설정합니다: 1. \(\pi_{\theta}\)는 8 H800에서 학습되고, 2. Learning Rate \(=1e-6\), 3. Batch Size \(=4\), 4. epoch numbers \(=2\), 5. weight decay \(=0.1\), 6. warmup ratio \(=0.03\), 7. \(\beta=0.5\)를 설정하여 \(\pi_{sft}\)에서 벗어나는 것을 제어합니다.
**트레이닝 설정.** 우리는 참조 모델 \(\pi_{sft}\)로 CT-LLM의 SFT 버전을 레버리지하여 목적 언어 모델 \(\pi_{\theta}\)를 최적화합니다. \(\pi_{\theta}\)는 \(\pi_{sft}\)의 모델 파라미터로 초기화됩니다. 하이퍼파라미터는 다음과 같이 설정합니다: 1. \(\pi_{\theta}\)는 8 H800에서 학습되고, 2. 학습 속도 \(=1e-6\), 3. 배치 크기 \(=4\), 4. 에포크 수 \(=2\), 5. 가중치 감쇠 \(=0.1\), 6. 워밍업 비율 \(=0.03\), 7. \(\베타=0.5\)를 설정하여 \(\pi_{sft}\)에서 벗어나는 것을 제어합니다.