To validate this standpoint, we evaluated the model's knowledge level on four widely used standardized test benchmarks. As shown in Figure 2, LLaMA 7B, Chinese LLaMA 7B, and Open Chinese LLaMA 7B perform comparably on C-eval, goakao-bench, and agi-eval, indicating no significant differences induced by further Chinese pretraining. It is worth noting that despite lacking further pretraining in Chinese, both LLaMA2-7B and LLaMA-13B outperform Open Chinese LLaMA on C-eval, MMLU, and AGI-Eval, suggesting that trillion-level pretraining and larger model sizes may indeed serve as effective pathways for enhancing model knowledge levels.
이 관점을 검증하기 위해 널리 사용되는 4가지 표준화된 테스트 벤치마크에서 모델의 지식 수준을 평가했습니다. 그림 2와 같이, C-eval, goakao-bench, agi-eval에서 LLaMA 7B, Chinese LLaMA 7B, Open Chinese LLaMA 7B의 성능이 비슷하여 추가 Chinese pretraining을 통해 유발되는 큰 차이는 없습니다. LLaMA2-7B와 LLaMA-13B는 Chinese로의 추가 pretraining이 없음에도 불구하고 C-eval, MMLU, AGI-Eval에서 Open Chinese LLaMA보다 우수한 성능을 보여주었는데, 이는 trillion-level pretraining과 더 큰 모델 크기가 실제로 모델 지식 수준을 향상시키는 효과적인 경로가 될 수 있음을 시사합니다.
이 관점을 검증하기 위해 널리 사용되는 4가지 표준화된 테스트 벤치마크에서 모델의 지식 수준을 평가했습니다. 그림 2와 같이, C-eval, 고카오 벤치, 아지-에발에서 LLaMA 7B, 중국어 LLaMA 7B, 오픈 중국어 LLaMA 7B의 성능이 비슷하여 추가 중국어 전처리를 통해 유발되는 큰 차이는 없습니다. LLaMA2-7B와 LLaMA-13B는 중국어로의 추가 전처리가 없음에도 불구하고 C-eval, MMLU, AGI-Eval에서 Open Chinese LLaMA보다 우수한 성능을 보여주었는데, 이는 수조 수준의 전처리와 더 큰 모델 크기가 실제로 모델 지식 수준을 향상시키는 효과적인 경로가 될 수 있음을 시사합니다.