Figure 5: We vary the number of epochs (Fig. 5(a)) and learning rate (Fig. 5(b)) during continued pre-training to study the training dynamics of Llama-2 7B. The left axis is QA accuracies for test questions, measured by exact match. On the right axis, we display 2 metrics indicated by distinct colors: the perplexity of all tokens in the documents, and the knowledge retention accuracy, measured by QA accuracy on the Natural Questions dataset. We highlight situations where perplexity of all document tokens is minimized to 1.
그림 5: 계속된 사전 학습 중에 에포크 수(그림 5(a))와 Learning Rate(그림 5(b))를 변경하여 Llama-2 7B의 학습 동역학을 연구합니다. 왼쪽 축은 정확도와 일치 여부로 측정한 테스트 문제에 대한 QA 정확도입니다. 오른쪽 축에는 서로 다른 색상으로 표시된 두 가지 메트릭, 즉 문서에 있는 모든 토큰의 Perplexity와 Natural Questions 데이터 세트에서 QA 정확도로 측정한 지식 유지 정확도를 표시합니다. 모든 문서 토큰의 Perplexity가 1로 최소화되는 상황을 강조합니다.
그림 5: 계속된 사전 학습 중에 에포크 수(그림 5(a))와 학습 속도(그림 5(b))를 변경하여 Llama-2 7B의 학습 동역학을 연구합니다. 왼쪽 축은 정확도와 일치 여부로 측정한 테스트 문제에 대한 QA 정확도입니다. 오른쪽 축에는 서로 다른 색상으로 표시된 두 가지 메트릭, 즉 문서에 있는 모든 토큰의 당혹감과 Natural Questions 데이터 세트에서 QA 정확도로 측정한 지식 유지 정확도를 표시합니다. 모든 문서 토큰의 당혹감이 1로 최소화되는 상황을 강조합니다.