We investigate the performance of different base model with varying parameter sizes after fine-tuned on our CQIA-Subset. Notably, Yi-6B surpasses \(\mathtt{Qwen}\)-14B and InternLM-20B, which have at least twice its parameter size. Further, Yi-34B achieved comparable results to \(\mathtt{Qwen}\)-72B in both C-Eval and CMMLU benchmarks. This observervation underscores the balance between model size, architectural optimizations, and training methodologies. While the scaling law might suggest that larger models inherently perform better due to their increased language understanding capacity, our results indicate that this is not always the case.
CQIA-Subset에서 Fine-tuning한 후 다양한 파라미터 크기를 가진 다양한 기본 모델의 성능을 조사합니다. 특히, Yi-6B는 파라미터 크기가 최소 두 배 이상 큰 \(\mathtt{Qwen}\)-14B 및 InternLM-20B를 능가합니다. 또한 Yi-34B는 C-Eval 및 CMMLU 벤치마크 모두에서 \(\mathtt{Qwen}\)-72B와 비슷한 결과를 얻었습니다. 이 관찰 결과는 모델 크기, 아키텍처 최적화 및 훈련 방법론 간의 균형을 강조합니다. Scaling law에 따르면 더 큰 모델은 언어 이해 능력이 향상되어 본질적으로 더 나은 성능을 발휘할 수 있지만, 우리의 결과는 항상 그런 것은 아니라는 것을 나타냅니다.
CQIA-Subset에서 미세 조정한 후 다양한 파라미터 크기를 가진 다양한 기본 모델의 성능을 조사합니다. 특히, Yi-6B는 파라미터 크기가 최소 두 배 이상 큰 \(\mathtt{Qwen}\)-14B 및 InternLM-20B를 능가합니다. 또한 Yi-34B는 C-Eval 및 CMMLU 벤치마크 모두에서 \(\mathtt{Qwen}\)-72B와 비슷한 결과를 얻었습니다. 이 관찰 결과는 모델 크기, 아키텍처 최적화 및 훈련 방법론 간의 균형을 강조합니다. 스케일링 법칙에 따르면 더 큰 모델은 언어 이해 능력이 향상되어 본질적으로 더 나은 성능을 발휘할 수 있지만, 우리의 결과는 항상 그런 것은 아니라는 것을 나타냅니다.