We perform instruction-tuning for a single epoch since more epochs usually result in diminished performance. For training on documents, we opt for multiple epochs (10/5 for a 7B/70B model), which allows for effective knowledge acquisition and remains affordable for corpora of moderate sizes.
Instruction-tuning을 한 번의 epoch 동안 수행합니다. 더 많은 epoch는 일반적으로 성능 저하를 초래하기 때문입니다. 문서에 대한 훈련의 경우, 여러 epoch(7B/70B 모델의 경우 10/5)를 선택하여 효과적으로 지식을 습득할 수 있고 적당한 크기의 말뭉치에 적합합니다.
더 많은 에포크는 일반적으로 성능 저하를 초래하므로 한 번의 에포크 동안 명령어 튜닝을 수행합니다. 문서에 대한 훈련의 경우, 여러 에포크(7B/70B 모델의 경우 10/5)를 선택하여 효과적으로 지식을 습득할 수 있고 적당한 크기의 말뭉치에 적합합니다.