We now present evaluation results for both our EEVE-Korean and EEVE-Korean-Instruct variants with other top-performing models in Table 3. EEVE-Korean-10.8B-v1.0 outperforms other pre-trained models of similar sizes in the average performance. It is noteworthy that, EEVE-Korean is the only case where the performance in Korean is improved without compromising the performance in English. For example, though OPEN-SOLAR-KO-10.7B, which is built on the same base model as ours, performs slightly better than our EEVE-Korean-Instruct-10.8B-v1.0, it fails to preserve the English capabilities, showing lower performance in English tasks than its base model, SOLAR-10.7B-v1.0. We observe similar trends even for our smaller model, EEVE-Korean-2.8B-v1.0 in comparison with the phi-2-ko-v0.1 model, sharing Phi-2 as its base model. This demonstrates the effectiveness of our training strategy, especially considering that we used even fewer training tokens than our competitors.
이제 표 3에서 다른 상위 성능 모델과 함께 EEVE-Korean 및 EEVE-Korean-Instruct 변형에 대한 평가 결과를 제시합니다. EEVE-Korean-10.8B-v1.0은 평균 성능에서 유사한 크기의 다른 pre-trained 모델보다 성능이 우수합니다. 특히 한국어에서의 성능을 영어에서의 성능 저하 없이 개선한 사례는 EEVE-Korean이 유일하다는 점이 주목할 만합니다. 예를 들어, OPEN-SOLAR-KO-10.7B는 우리와 동일한 base 모델을 기반으로 구축되었지만, EEVE-Korean-Instruct-10.8B-v1.0보다 약간 더 나은 성능을 보이지만 영어 기능을 유지하지 못하여 base 모델인 SOLAR-10.7B-v1.0보다 영어 작업에서 낮은 성능을 보입니다. 더 작은 모델인 EEVE-Korean-2.8B-v1.0과 phi-2-ko-v0.1 모델을 비교해도 비슷한 추세를 관찰할 수 있으며, 이 모델은 Phi-2를 base 모델로 공유합니다. 이는 경쟁사보다 훨씬 적은 수의 학습 토큰을 사용했음에도 불구하고 우리의 학습 전략이 얼마나 효과적인지 보여줍니다.
이제 표 3에서 다른 상위 성능 모델과 함께 EEVE-Korean 및 EEVE-Korean-Instruct 변형에 대한 평가 결과를 제시합니다. EEVE-Korean-10.8B-v1.0은 평균 성능에서 유사한 크기의 다른 사전 학습된 모델보다 성능이 우수합니다. 특히 한국어에서의 성능을 영어에서의 성능 저하 없이 개선한 사례는 EEVE-Korean이 유일하다는 점이 주목할 만합니다. 예를 들어, OPEN-SOLAR-KO-10.7B는 우리와 동일한 기본 모델을 기반으로 구축되었지만, EEVE-Korean-Instruct-10.8B-v1.0보다 약간 더 나은 성능을 보이지만 영어 기능을 유지하지 못하여 기본 모델인 SOLAR-10.7B-v1.0보다 영어 작업에서 낮은 성능을 보입니다. 더 작은 모델인 EEVE-Korean-2.8B-v1.0과 Phi-2-ko-v0.1 모델을 비교해도 비슷한 추세를 관찰할 수 있으며, 이 모델은 Phi-2를 기본 모델로 공유합니다. 이는 경쟁사보다 훨씬 적은 수의 학습 토큰을 사용했음에도 불구하고 우리의 학습 전략이 얼마나 효과적인지 보여줍니다.