To this end, this technical report presents a novel approach for efficient and effective vocabulary expansion, namely EEVE, which can better train the embeddings of newly added tokens. For ease of adaptation, we utilize subword-based embedding initialization and design seven training stages with parameter freezing, which elaborately adjust the order and amount of parameters to be trained. We meticulously transfer the advanced capabilities of foundational models from English to Korean by initially focusing on the training of only input embeddings and progressively expanding to encompass the full parameters in the final stage.
이를 위해 본 기술 보고서는 새로 추가된 토큰의 임베딩을 더 잘 학습시킬 수 있는 효율적이고 효과적인 어휘 확장을 위한 새로운 접근 방식, 즉 EEVE를 제시합니다. 쉽게 적응할 수 있도록 subword-based embedding 초기화를 활용하고 parameter freezing을 통해 7단계의 학습 단계를 설계하여 학습할 파라미터의 순서와 양을 정교하게 조정합니다. 처음에는 input embeddings만 학습하는 데 중점을 두고 최종 단계에서 전체 파라미터를 포괄하도록 점진적으로 확장하여 foundational 모델의 고급 기능을 영어에서 한국어로 세심하게 전달합니다.
이를 위해 본 기술 보고서는 새로 추가된 토큰의 임베딩을 더 잘 학습시킬 수 있는 효율적이고 효과적인 어휘 확장을 위한 새로운 접근 방식, 즉 EEVE를 제시합니다. 쉽게 적응할 수 있도록 하위 단어 기반 임베딩 초기화를 활용하고 파라미터 동결을 통해 7단계의 학습 단계를 설계하여 학습할 파라미터의 순서와 양을 정교하게 조정합니다. 처음에는 입력 임베딩만 학습하는 데 중점을 두고 최종 단계에서 전체 파라미터를 포괄하도록 점진적으로 확장하여 기본 모델의 고급 기능을 영어에서 한국어로 세심하게 전달합니다.