Figure 1: Illustration of continued pre-training (first row), continued pre-training followed by instruction-tuning (second row), and pre-instruction-tuning before continued pre-training (last row), along with their accuracies on evaluation questions. Each right-pointing light-blue triangle indicates a training phase.
그림 1: 지속적인 사전 학습(첫 번째 행), 지속적인 사전 학습에 이어 Instruction Tuning(두 번째 행), 지속적인 사전 학습 전 Instruction Tuning(마지막 행)의 예시와 평가 문제에 대한 정확도를 보여줍니다. 오른쪽을 가리키는 하늘색 삼각형은 각각 훈련 단계를 나타냅니다.
그림 1: 지속적인 사전 학습(첫 번째 행), 지속적인 사전 학습에 이어 지침 조정(두 번째 행), 지속적인 사전 학습 전 사전 지침 조정(마지막 행)의 예시와 평가 문제에 대한 정확도를 보여줍니다. 오른쪽을 가리키는 하늘색 삼각형은 각각 훈련 단계를 나타냅니다.