For all three model configurations (Adapt-LLM, AR-LLM and NR-LLM) and both training sets (SQuAD and NQ), we adhere to the parameter configuration established in Alpaca-Lora [32] which includes a batch size of 128, three epochs, and a fixed learning rate of 3e-4. We incorporated LoRA (Low-Rank Adaptation) regularization, with parameters configured for r=8, alpha=16, and a dropout rate of 0.05. Training was performed on an NVIDIA A40 GPU, for an average training time of approximately 8 hours. We do not perform any model selection and we use the last checkpoint after 3 epochs of training.
세 가지 모델 구성(Adapt-LLM, AR-LLM 및 NR-LLM)과 두 가지 훈련 세트(SQuAD 및 NQ) 모두에 대해 batch size 128, 3개의 epoch, 고정 learning rate 3e-4를 포함하는 Alpaca-Lora [32]에서 설정한 매개변수 구성을 준수합니다. LoRA(Low-Rank Adaptation) regularization을 통합했으며, 매개변수는 r=8, alpha=16, dropout rate 0.05로 구성되었습니다. 훈련은 NVIDIA A40 GPU에서 수행되었으며, 평균 훈련 시간은 약 8시간이 소요되었습니다. 모델 선택을 수행하지 않고 3회 훈련 후 마지막 checkpoint를 사용합니다.
세 가지 모델 구성(Adapt-LLM, AR-LLM 및 NR-LLM)과 두 가지 훈련 세트(SQuAD 및 NQ) 모두에 대해 배치 크기 128, 3개의 에포크, 고정 학습 속도 3e-4를 포함하는 Alpaca-Lora [32]에서 설정한 매개변수 구성을 준수합니다. LoRA(저순위 적응) 정규화를 통합했으며, 매개변수는 r=8, 알파=16, 드롭아웃 비율 0.05로 구성되었습니다. 훈련은 NVIDIA A40 GPU에서 수행되었으며, 평균 훈련 시간은 약 8시간이 소요되었습니다. 모델 선택을 수행하지 않고 3회 훈련 후 마지막 체크포인트를 사용합니다.