The datasets contain 1100 question-answer pairs each. 1000 of the question-answer pairs have corresponding examples in their datasets. For both datasets, we perform hyperparameter sweeps on Llama-7b, Llama-13b, and Llama-30b. Details for the sweep can be found in Appendix D.1. Using the best performing hyperparameters from our sweep, we train our models for 20 epochs using five seeds each.
데이터 세트에는 각각 1100개의 질문-답변 쌍이 포함되어 있습니다. 질문-답변 쌍 중 1000개는 데이터 세트에 해당 예제가 있습니다. 두 데이터 세트 모두에 대해 Llama-7b, Llama-13b 및 Llama-30b에 대한 hyperparameter sweeps를 수행합니다. 스윕에 대한 자세한 내용은 부록 D.1에서 확인할 수 있습니다. 스윕에서 가장 성능이 우수한 hyperparameters를 사용하여 각각 5개의 시드를 사용하여 20개의 epochs 동안 모델을 훈련합니다.
데이터 세트에는 각각 1100개의 질문-답변 쌍이 포함되어 있습니다. 질문-답변 쌍 중 1000개는 데이터 세트에 해당 예제가 있습니다. 두 데이터 세트 모두에 대해 Llama-7b, Llama-13b 및 Llama-30b에 대한 하이퍼파라미터 스윕을 수행합니다. 스윕에 대한 자세한 내용은 부록 D.1에서 확인할 수 있습니다. 스윕에서 가장 성능이 우수한 하이퍼파라미터를 사용하여 각각 5개의 시드를 사용하여 20개의 에포크 동안 모델을 훈련합니다.