**Stage 1 (new input embeddings):** Initially, our focus is narrow yet critical: to learn the input embeddings of the newly added tokens while freezing all other model parameters. This stage is foundational, allowing the model to adjust its recognition and processing of these tokens from the beginning. The pre-initialized embeddings serve as a starting point, guiding the model to better utilize these new tokens in its existing framework. Our principal hypothesis here is that if the input and output token sequences in causal language modeling can be differentiated, by utilizing both the old and new tokenizers at the same time, the model can more efficiently and effectively learn new vocabulary embeddings, as it could leverage its established knowledge in the embedding spaces from old tokens. However, employing distinct tokenizers for input and output sequences at once poses implementation challenges, such as the difficulty of applying teacher forcing due to mismatched input/output sequences. Here, the subword-based embedding initialization (Sec 2.2) provides a proxy for using the old tokenizer for output sequences, such that the model is tasked to generate the subword token (old) given the whole word token (new). In other words, the model could learn to align their representations for generating the new token with that for generating its first subword token, by optimizing only the input embeddings without any modification of input/output token sequences as described in Figure 2. However, at this stage, the model is not yet able to distinguish between tokens sharing the same hidden state.
**1단계(새 input embeddings):** 처음에는 다른 모든 모델 파라미터를 동결한 상태에서 새로 추가된 토큰의 input embeddings을 학습하는 데 초점을 맞춥니다. 이 단계는 모델이 처음부터 이러한 토큰에 대한 인식과 처리를 조정할 수 있도록 하는 기초적인 단계입니다. 사전 초기화된 embeddings은 시작점 역할을 하며, 모델이 기존 프레임워크에서 이러한 새로운 토큰을 더 잘 활용할 수 있도록 안내합니다. 여기서 우리의 주요 가설은 인과적 언어 모델링에서 input 및 output token sequences를 구분할 수 있다면, 기존 토큰과 새로운 tokenizer를 동시에 활용함으로써 모델이 embedding 공간에서 기존 지식을 활용할 수 있기 때문에 새로운 어휘 embeddings을 보다 효율적이고 효과적으로 학습할 수 있다는 것입니다. 그러나 input 및 output sequences에 서로 다른 tokenizer를 한 번에 사용하면 input/output sequences 불일치로 인한 teacher forcing 적용의 어려움 등 구현상의 문제가 발생합니다. 여기서 subword 기반 embedding 초기화(Sec 2.2)는 output sequences에 대해 이전 tokenizer를 사용하는 프록시를 제공하여 모델이 전체 단어 token(새로운)이 주어지면 subword token(이전)을 생성하도록 할 수 있도록 합니다. 즉, 모델은 그림 2에 설명된 대로 input/output token sequences를 수정하지 않고 input embeddings만 최적화하여 새로운 token을 생성하기 위한 표현과 첫 번째 subword token을 생성하기 위한 표현을 정렬하는 방법을 학습할 수 있습니다. 그러나 이 단계에서는 모델이 동일한 숨겨진 상태를 공유하는 token을 구분할 수 없습니다.
**1단계(새 입력 임베딩):** 처음에는 다른 모든 모델 파라미터를 동결한 상태에서 새로 추가된 토큰의 입력 임베딩을 학습하는 데 초점을 맞춥니다. 이 단계는 모델이 처음부터 이러한 토큰에 대한 인식과 처리를 조정할 수 있도록 하는 기초적인 단계입니다. 사전 초기화된 임베딩은 시작점 역할을 하며, 모델이 기존 프레임워크에서 이러한 새로운 토큰을 더 잘 활용할 수 있도록 안내합니다. 여기서 우리의 주요 가설은 인과적 언어 모델링에서 입력 및 출력 토큰 시퀀스를 구분할 수 있다면, 기존 토큰과 새로운 토큰화기를 동시에 활용함으로써 모델이 임베딩 공간에서 기존 지식을 활용할 수 있기 때문에 새로운 어휘 임베딩을 보다 효율적이고 효과적으로 학습할 수 있다는 것입니다. 그러나 입력 및 출력 시퀀스에 서로 다른 토큰화기를 한 번에 사용하면 입력/출력 시퀀스 불일치로 인한 교사 강제 적용의 어려움 등 구현상의 문제가 발생합니다. 여기서 하위 단어 기반 임베딩 초기화(Sec 2.2)는 출력 시퀀스에 대해 이전 토큰화기를 사용하는 프록시를 제공하여 모델이 전체 단어 토큰(새로운)이 주어지면 하위 단어 토큰(이전)을 생성하도록 할 수 있도록 합니다. 즉, 모델은 그림 2에 설명된 대로 입력/출력 토큰 시퀀스를 수정하지 않고 입력 임베딩만 최적화하여 새로운 토큰을 생성하기 위한 표현과 첫 번째 하위 단어 토큰을 생성하기 위한 표현을 정렬하는 방법을 학습할 수 있습니다. 그러나 이 단계에서는 모델이 동일한 숨겨진 상태를 공유하는 토큰을 구분할 수 없습니다.