The report introduces EEVE-Korean-v1.0, a Korean adaptation of large language models that utilizes an Efficient and Effective Vocabulary Expansion (EEVE) method to enhance Korean text processing capabilities significantly. The method, based on parameter freezing and subword initialization, enables the EEVE-Korean-10.8B-v1.0 model to excel in Korean language tasks while maintaining strong English capabilities. Achieved with a corpus of just 2 billion tokens, this approach represents a notable advancement in language model training efficiency and effectiveness. By making these models available to the research community, the project aims to contribute to the development of more inclusive and efficient language processing technologies.
이 보고서는 Efficient and Effective Vocabulary Expansion (EEVE) 방법을 활용하여 한국어 텍스트 처리 기능을 크게 향상시킨 대규모 언어 모델의 한국어 적응판인 EEVE-Korean-v1.0을 소개합니다. 파라미터 동결 및 하위 단어 초기화를 기반으로 하는 이 방법을 통해 EEVE-Korean-10.8B-v1.0 모델은 한국어 작업에서 뛰어난 성능을 발휘하는 동시에 강력한 영어 기능을 유지할 수 있습니다. 단 20억 토큰의 말뭉치로 달성한 이 접근 방식은 언어 모델 훈련의 효율성과 효과성에 있어 주목할 만한 발전을 의미합니다. 이 프로젝트는 이러한 모델을 연구 커뮤니티에 공개함으로써 보다 포용적이고 효율적인 언어 처리 기술 개발에 기여하는 것을 목표로 합니다.
이 보고서는 효율적이고 효과적인 어휘 확장(EEVE) 방법을 활용하여 한국어 텍스트 처리 기능을 크게 향상시킨 대규모 언어 모델의 한국어 적응판인 EEVE-Korean-v1.0을 소개합니다. 파라미터 동결 및 하위 단어 초기화를 기반으로 하는 이 방법을 통해 EEVE-Korean-10.8B-v1.0 모델은 한국어 작업에서 뛰어난 성능을 발휘하는 동시에 강력한 영어 기능을 유지할 수 있습니다. 단 20억 토큰의 말뭉치로 달성한 이 접근 방식은 언어 모델 훈련의 효율성과 효과성에 있어 주목할 만한 발전을 의미합니다. 이 프로젝트는 이러한 모델을 연구 커뮤니티에 공개함으로써 보다 포용적이고 효율적인 언어 처리 기술 개발에 기여하는 것을 목표로 합니다.