**Stage 2 (new output embeddings):** Our goal is to enhance the model's proficiency in accurately generating new tokens across various contexts by solely adjusting the output embeddings (lm_head). The decision to freeze all other parameters stems from the model's current unstable state. Allowing both input and output embeddings to be trained simultaneously would complicate achieving convergence, thus hindering the model's progress toward optimal performance. By freezing most of the parameters, we achieve more stable convergence. Moreover, this approach significantly reduces the training time, as it eliminates the necessity for back-propagation through the other layers.
**2단계(새로운 출력 임베딩):** 출력 임베딩(lm_head)만 조정하여 다양한 컨텍스트에서 새로운 토큰을 정확하게 생성하는 모델의 능력을 향상시키는 것이 목표입니다. 다른 모든 파라미터를 동결하기로 한 결정은 모델의 현재 불안정한 상태에서 비롯되었습니다. 입력 및 출력 임베딩을 동시에 학습시키면 수렴을 달성하기가 더 복잡해져 모델의 최적 성능을 향한 진전을 방해할 수 있습니다. 대부분의 파라미터를 동결하면 더 안정적인 수렴을 달성할 수 있습니다. 또한 다른 레이어를 통해 back-propagation할 필요가 없으므로 이 접근 방식은 훈련 시간을 크게 줄여줍니다.
**2단계(새로운 출력 임베딩):** 출력 임베딩(lm_head)만 조정하여 다양한 컨텍스트에서 새로운 토큰을 정확하게 생성하는 모델의 능력을 향상시키는 것이 목표입니다. 다른 모든 파라미터를 동결하기로 한 결정은 모델의 현재 불안정한 상태에서 비롯되었습니다. 입력 및 출력 임베딩을 동시에 학습시키면 수렴을 달성하기가 더 복잡해져 모델의 최적 성능을 향한 진전을 방해할 수 있습니다. 대부분의 파라미터를 동결하면 더 안정적인 수렴을 달성할 수 있습니다. 또한 다른 레이어를 통해 역전파할 필요가 없으므로 이 접근 방식은 훈련 시간을 크게 줄여줍니다.