To enhance the model's understanding and generation capabilities in the target language, we begin by initializing a model with a pre-trained model and then proceed to pre-train the model with the target language corpora. Similar to typical pre-training, we employ the Causal Language Modeling task to continue the pre-training of the base model. In this task, the model is required to predict the next token based on the input token sequence.
대상 언어에서 모델의 이해 및 생성 기능을 향상시키기 위해 먼저 pre-trained 모델로 모델을 초기화한 다음 대상 언어 corpora로 모델을 pre-train하는 과정을 거칩니다. 일반적인 pre-training과 유사하게, 기본 모델의 pre-training을 계속하기 위해 Causal Language Modeling task를 사용합니다. 이 task에서 모델은 입력 token sequence를 기반으로 다음 token을 예측해야 합니다.
대상 언어에서 모델의 이해 및 생성 기능을 향상시키기 위해 먼저 사전 학습된 모델로 모델을 초기화한 다음 대상 언어 말뭉치로 모델을 사전 학습시키는 과정을 거칩니다. 일반적인 사전 학습과 유사하게, 기본 모델의 사전 학습을 계속하기 위해 인과적 언어 모델링 작업을 사용합니다. 이 작업에서 모델은 입력 토큰 시퀀스를 기반으로 다음 토큰을 예측해야 합니다.