We use next-word prediction loss for finetuning, and only compute loss on the responses, but not system and user instructions. We use AdamW optimizer with \(\beta_{1}\) set to 0.9, \(\beta_{2}\) set to 0.999, and \(\epsilon\) set to \(10^{-8}\). We use a sequence length of 4096, alongside a batch size of 64. We set training step to 300 with a constant \(1\times 10^{-5}\) learning rate, a weight decay of 0.1, gradient clipping with a maximum threshold of 1.0, and NEFTune [34] with a noise scale of 45 for Yi-34B-Chat and 5 for Yi-6B-Chat.
다음 단어 예측 Loss를 Fine-tuning에 사용하고, 시스템 및 사용자 Instructions가 아닌 응답에 대해서만 Loss를 계산합니다. \(\beta_{1}\)은 0.9로, \(\beta_{2}\)는 0.999로, \(\epsilon\)은 \(10^{-8}\)로 설정한 AdamW Optimizer를 사용합니다. 시퀀스 길이는 4096을 사용하고 Batch Size는 64를 사용합니다. 학습 단계는 300으로 설정하고, Learning Rate는 \(1\times 10^{-5}\)로 일정하게, 가중치 감쇠는 0.1로, 최대 임계값 1.0으로 Gradient Clipping, Yi-34B-Chat의 경우 노이즈 스케일 45, Yi-6B-Chat의 경우 노이즈 스케일 5로 NEFTune [34]을 사용합니다.
다음 단어 예측 손실을 미세 조정에 사용하고, 시스템 및 사용자 지침이 아닌 응답에 대해서만 손실을 계산합니다. \(\beta_{1}\)은 0.9로, \(\beta_{2}\)는 0.999로, \(\epsilon\)은 \(10^{-8}\)로 설정한 AdamW 옵티마이저를 사용합니다. 시퀀스 길이는 4096을 사용하고 배치 크기는 64를 사용합니다. 학습 단계는 300으로 설정하고, 학습률은 1\배 10^{-5}로 일정하게, 가중치 감쇠는 0.1로, 최대 임계값 1.0으로 그라디언트 클리핑, Yi-34B-Chat의 경우 노이즈 스케일 45, Yi-6B-Chat의 경우 노이즈 스케일 5로 NEFTune [34]을 사용합니다.