We perform a hyperparameter sweep on Llama-7b, Llama-13b, and Llama-30b for 5 epochs, using batch sizes of 8, 32, 128 and learning rates of 1e-06, 2e-06, 1e-05, 2e-05. We use Adam as our optimizer and DeepSpeed level 3 for memory efficiency. We perform full finetuning and do not use any parameter efficient finetuning techniques. We chose these batch sizes to be relatively low. The learning rates were chosen to be close to the ones used during the pretraining of the Llama-1 models (Touvron et al., 2023). The results for Llama-7b are shown in Figure 10.
5개의 에포크에 대해 8, 32, 128의 Batch Size와 1e-06, 2e-06, 1e-05, 2e-05의 Learning Rate를 사용하여 Llama-7b, Llama-13b, Llama-30b에 대한 하이퍼파라미터 스윕을 수행합니다. Optimizer로 Adam을 사용하고 메모리 효율성을 위해 DeepSpeed 레벨 3을 사용합니다. 전체 Fine-tuning을 수행하고 매개변수 효율적인 Fine-tuning 기법을 사용하지 않습니다. 이러한 Batch Size는 상대적으로 낮게 선택했습니다. Learning Rate는 Llama-1 모델의 사전 학습에 사용된 Learning Rate(Touvron et al., 2023)에 가깝게 선택했습니다. Llama-7b에 대한 결과는 그림 10에 나와 있습니다.
5개의 에포크에 대해 8, 32, 128의 배치 크기와 1e-06, 2e-06, 1e-05, 2e-05의 학습 속도를 사용하여 Llama-7b, Llama-13b, Llama-30b에 대한 하이퍼파라미터 스윕을 수행합니다. 최적화 도구로 Adam을 사용하고 메모리 효율성을 위해 DeepSpeed 레벨 3을 사용합니다. 전체 미세 조정을 수행하고 매개변수 효율적인 미세 조정 기법을 사용하지 않습니다. 이러한 배치 크기는 상대적으로 낮게 선택했습니다. 학습 속도는 Llama-1 모델의 사전 학습에 사용된 학습 속도(Touvron et al., 2023)에 가깝게 선택했습니다. Llama-7b에 대한 결과는 그림 10에 나와 있습니다.