For LLaMA-based models, we follow the practices in instruction tuning in prior works Zhou et al. (2023); Chen et al. (2023). We use AdamW optimizer with \(\beta_{1}=0.9,\beta_{2}=0.95\) to finetune the target model for 15 epochs, as suggested by Zhou et al. (2023) for smaller data size. We set the initial learning rate to \(1\times 10^{-5}\) and linearly decaying to \(1\times 10^{-6}\) by the end of training. We set per GPU batch size to 8, which is equivalent to a total batch size of 64, as we use 8 A100 GPUs for training. The maximum token length is set to 2048.
LLaMA 기반 모델의 경우, 이전 작업 Zhou et al. (2023); Chen et al. (2023)의 Instruction Tuning 관행을 따릅니다. 더 작은 데이터 크기에 대해 Zhou et al. (2023)에서 제안한 대로 \(\beta_{1}=0.9,\beta_{2}=0.95\)의 AdamW Optimizer를 사용하여 15회에 걸쳐 대상 모델을 Fine-tuning합니다. 초기 Learning Rate를 \(1\times 10^{-5}\)로 설정하고, 훈련이 끝날 때까지 선형 감소하여 \(1\times 10^{-6}\)이 됩니다. 훈련에 A100 GPU 8대를 사용하므로 GPU당 Batch Size를 8로 설정하여 총 Batch Size가 64가 되도록 합니다. 최대 토큰 길이는 2048로 설정됩니다.
LLaMA 기반 모델의 경우, 이전 작업 Zhou et al. (2023); Chen et al. (2023)의 지침 조정 관행을 따릅니다. 더 작은 데이터 크기에 대해 Zhou et al. (2023)에서 제안한 대로 \(\beta_{1}=0.9,\beta_{2}=0.95\)의 AdamW 옵티마이저를 사용하여 15회에 걸쳐 대상 모델을 미세 조정합니다. 초기 학습 속도를 \(1\배 10^{-5}\)로 설정하고, 훈련이 끝날 때까지 선형 감소하여 \(1\배 10^{-6}\)이 됩니다. 훈련에 A100 GPU 8대를 사용하므로 GPU당 배치 크기를 8로 설정하여 총 배치 크기가 64가 되도록 합니다. 최대 토큰 길이는 2048로 설정됩니다.