For PaLM-based models, we follow the default instruction tuning setting on Google Cloud's LLM tuning web UI. We set the number of tuning steps to 2000, the learning rate multiplier to 1, and use the TPU training option.
PaLM 기반 모델의 경우, Google Cloud의 LLM tuning 웹 UI에서 기본 Instruction Tuning 설정을 따릅니다. 튜닝 단계 수를 2000으로 설정하고, Learning Rate 배수를 1로 설정하며, TPU 훈련 옵션을 사용합니다.
PaLM 기반 모델의 경우, Google Cloud의 LLM 튜닝 웹 UI에서 기본 지침 튜닝 설정을 따릅니다. 튜닝 단계 수를 2000으로 설정하고, 학습 속도 배수를 1로 설정하며, TPU 훈련 옵션을 사용합니다.