Table 3 shows our knowledge analysis experiments' results. Llama-2-7b-chat performs similarly to Llama-2-7b on Hellaswag and MULU, while showing a slightly better performance on ARC and C-eval-tw. In the ARC and Hellaswag benchmarks, almost all continually pre-trained models outperform Llama-2-7b-chat. In the MULU benchmark, most continual pre-trained models tend to outperform Llama-2-7b-chat. However, in the case of the C-eval-tw benchmark, there is no clear pattern when comparing the efficacy of models utilizing simple methods for continual pre-training against Llama-2-7b-chat. It is worth noting that the observed differences mentioned above are subtle.
Table 3은 우리의 지식 분석 실험 결과를 보여줍니다. Llama-2-7b-chat은 Hellaswag과 MULU에서 Llama-2-7b와 유사한 성능을 보이며, ARC와 C-eval-tw에서는 약간 더 나은 성능을 보입니다. ARC와 Hellaswag 벤치마크에서는 거의 모든 지속적으로 사전 훈련된 모델들이 Llama-2-7b-chat보다 우수한 성능을 보입니다. MULU 벤치마크에서도 대부분의 지속적으로 사전 훈련된 모델들이 Llama-2-7b-chat보다 우수한 경향을 보입니다. 그러나 C-eval-tw 벤치마크의 경우, 지속적인 사전 훈련을 위한 간단한 방법을 사용하는 모델들의 효율성을 Llama-2-7b-chat과 비교할 때 명확한 패턴이 없습니다. 위에서 언급한 차이점들은 미묘하다는 점을 주목할 가치가 있습니다.
표 3은 지식 분석 실험 결과를 보여줍니다. Llama-2-7b-chat은 헬라스웩과 MULU에서 Llama-2-7b와 유사한 성능을 보이며, ARC와 C-eval-tw에서 약간 더 나은 성능을 보입니다. ARC 및 Hellaswag 벤치마크에서는 거의 모든 연속 사전 학습 모델이 Llama-2-7b-chat보다 성능이 우수합니다. MULU 벤치마크에서는 대부분의 연속 사전 학습 모델이 Llama-2-7b-chat보다 성능이 우수한 경향이 있습니다. 그러나 C-eval-tw 벤치마크의 경우, 연속 사전 학습을 위한 간단한 방법을 활용한 모델의 효과를 Llama-2-7b-chat와 비교할 때 명확한 패턴이 나타나지 않습니다. 위에서 언급한 관찰된 차이점은 미미하다는 점에 유의할 필요가 있습니다.