To ensure that our results are not specific to GPT-3 models trained with the OpenAI API, we also perform a hyperparameter sweep using Llama-7b. Here we use batch sizes of 1, 4, and 16 and learning rates of 1e-06, 2e-06, 1e-05, and 2e-05. We use Adam as our optimizer and DeepSpeed level 3 for memory efficiency. We perform full finetuning and do not use any parameter efficient finetuning techniques. The results are shown in Figure 8.
결과가 OpenAI API로 학습된 GPT-3 모델에만 국한되지 않도록 Llama-7b를 사용하여 하이퍼파라미터 스윕을 수행하기도 합니다. 여기서는 Batch Size는 1, 4, 16, Learning Rate는 1e-06, 2e-06, 1e-05, 2e-05를 사용합니다. Optimizer로 Adam을 사용하고 메모리 효율성을 위해 DeepSpeed 레벨 3을 사용합니다. 전체 Fine-tuning을 수행하고 매개변수 효율적인 Fine-tuning 기법을 사용하지 않습니다. 결과는 그림 8에 나와 있습니다.
결과가 OpenAI API로 학습된 GPT-3 모델에만 국한되지 않도록 Llama-7b를 사용하여 하이퍼파라미터 스윕을 수행하기도 합니다. 여기서는 배치 크기는 1, 4, 16, 학습 속도는 1e-06, 2e-06, 1e-05, 2e-05를 사용합니다. 옵티마이저로 Adam을 사용하고 메모리 효율성을 위해 DeepSpeed 레벨 3을 사용합니다. 전체 미세 조정을 수행하고 매개변수 효율적인 미세 조정 기법을 사용하지 않습니다. 결과는 그림 8에 나와 있습니다.