This report introduces EEVE-Korean-v1.0, a Korean adaptation of large language models that exhibit remarkable capabilities across English and Korean text understanding. Building on recent highly capable but English-centric LLMs, such as SOLAR-10.7B and Phi-2, where non-English texts are inefficiently processed with English-centric tokenizers, we present an efficient and effective vocabulary expansion (EEVE) method, which encompasses parameter freezing and subword initialization. In contrast to previous efforts that believe new embeddings require trillions of training tokens, we show that our method can significantly boost non-English proficiency within just 2 billion tokens. Surpassing most instruction-tuned LLMs on the Open Ko-LLM Leaderboard, as of January 2024, our model EEVE-Korean-10.88-v1.0 ranks as the leading Korean pre-trained model in the open-source community, according to Hugging Face's leaderboard. We open-source our models on Huggingface to empower the open research community in various languages.
이 보고서는 영어와 한국어 텍스트 이해에 걸쳐 놀라운 역량을 발휘하는 대규모 언어 모델의 한국어 적응판인 EEVE-Korean-v1.0을 소개합니다. 최근 영어 중심의 고성능 LLM(예: SOLAR-10.7B 및 Phi-2)을 기반으로 하되, 영어 중심의 토큰화기로 비영어 텍스트를 비효율적으로 처리하는 이 문제를 해결하기 위해 파라미터 동결 및 하위 단어 초기화를 포함하는 효율적이고 효과적인 어휘 확장(EEVE) 방법을 소개합니다. 새로운 임베딩에 수조 개의 학습 토큰이 필요하다고 생각하는 기존의 노력과 달리, 저희는 단 20억 개의 토큰으로 비영어 실력을 크게 향상시킬 수 있다는 것을 보여 줍니다. 2024년 1월 현재 Open Ko-LLM 리더보드에서 대부분의 Instruction-tuned LLM을 능가하는 저희 모델 EEVE-Korean-10.88-v1.0은 Hugging Face 리더보드에 따르면 오픈 소스 커뮤니티에서 선도적인 한국어 사전 학습 모델로 선정되었습니다. 다양한 언어의 오픈 리서치 커뮤니티의 역량을 강화하기 위해 Hugging Face에 모델을 오픈 소스화했습니다.
이 보고서는 영어와 한국어 텍스트 이해에 걸쳐 놀라운 역량을 발휘하는 대규모 언어 모델의 한국어 적응판인 EEVE-Korean-v1.0을 소개합니다. 최근 영어 중심의 고성능 LLM(예: SOLAR-10.7B 및 Phi-2)을 기반으로 하되, 영어 중심의 토큰화기로 비영어 텍스트를 비효율적으로 처리하는 이 문제를 해결하기 위해 파라미터 동결 및 하위 단어 초기화를 포함하는 효율적이고 효과적인 어휘 확장(EEVE) 방법을 소개합니다. 새로운 임베딩에 수조 개의 학습 토큰이 필요하다고 생각하는 기존의 노력과 달리, 저희는 단 20억 개의 토큰으로 비영어 실력을 크게 향상시킬 수 있다는 것을 보여 줍니다. 2024년 1월 현재 Open Ko-LLM 리더보드에서 대부분의 지시 튜닝 LLM을 능가하는 저희 모델 EEVE-Korean-10.88-v1.0은 허깅페이스 리더보드에 따르면 오픈 소스 커뮤니티에서 선도적인 한국어 사전 학습 모델로 선정되었습니다. 다양한 언어의 오픈 리서치 커뮤니티의 역량을 강화하기 위해 허깅페이스에 모델을 오픈 소스화했습니다.