It is well known that LLMs store vast amounts of knowledge during their pre-training phase (Zhou et al., 2023). So, it makes sense to continue this process in order to inject knowledge into the model. Hence, we use the unsupervised FT approach throughout this work and evaluate its efficacy in enhancing the model's capacity for learning new information.
LLM이 사전 학습 단계에서 방대한 양의 지식을 저장하는 것은 잘 알려져 있습니다(Zhou et al., 2023). 따라서 모델에 지식을 주입하기 위해 이 과정을 계속하는 것이 합리적입니다. 따라서 본 연구에서는 unsupervised Fine-tuning 접근 방식을 사용하여 모델의 새로운 정보 학습 능력을 향상시키는 효과를 평가합니다.
LLM이 사전 학습 단계에서 방대한 양의 지식을 저장하는 것은 잘 알려져 있습니다(Zhou et al., 2023). 따라서 모델에 지식을 주입하기 위해 이 과정을 계속하는 것이 합리적입니다. 따라서 본 연구에서는 비지도 FT 접근 방식을 사용하여 모델의 새로운 정보 학습 능력을 향상시키는 효과를 평가합니다.