Some works have studied continual learning for language models. Qin et al. (2022) focused on efficient lifelong pre-training on pre-trained language models for emerging data. Ke et al. (2022) proposed a continual domain-adaptive pre-training method on a masked language model. Song et al. (2023) introduced continual parameter-efficient tuning for the ongoing adaptation of LLMs to continual tasks. Xie et al. (2023) investigate an alternative approach to continual pre-training for developing domain-specific LLMs. Qi et al. (2023) suggests that fine-tuning compromises the safety alignment of LLMs. Zhai et al. (2023) evaluates the forgetting in fine-tuned multimodal LLMs.
일부 연구에서는 언어 모델에 대한 지속 학습을 연구했습니다. Qin 등(2022)은 신흥 데이터에 대한 사전 학습된 언어 모델의 효율적인 평생 사전 학습에 초점을 맞추었습니다. Ke 등(2022)은 마스킹된 언어 모델에 대한 지속적인 도메인 적응 사전 학습 방법을 제안했습니다. Song 등(2023)은 지속적인 작업에 대한 LLM의 지속적인 적응을 위해 지속적인 파라미터 효율적 튜닝을 도입했습니다. Xie 등(2023)은 도메인별 LLM을 개발하기 위한 지속적인 사전 학습에 대한 대안적인 접근 방식을 조사합니다. Qi 등(2023)은 Fine-tuning이 LLM의 안전한 정렬을 손상시킨다고 제안합니다. Zhai 등(2023)은 Fine-tuning된 멀티모달 LLM의 잊어버림을 평가합니다.
일부 연구에서는 언어 모델에 대한 지속 학습을 연구했습니다. Qin 등(2022)은 신흥 데이터에 대한 사전 학습된 언어 모델의 효율적인 평생 사전 학습에 초점을 맞추었습니다. Ke 등(2022)은 마스킹된 언어 모델에 대한 지속적인 도메인 적응 사전 학습 방법을 제안했습니다. Song 등(2023)은 지속적인 작업에 대한 LLM의 지속적인 적응을 위해 지속적인 파라미터 효율적 튜닝을 도입했습니다. Xie 등(2023)은 도메인별 LLM을 개발하기 위한 지속적인 사전 학습에 대한 대안적인 접근 방식을 조사합니다. Qi 등(2023)은 미세 조정이 LLM의 안전한 정렬을 손상시킨다고 제안합니다. Zhai 등(2023)은 미세 조정된 멀티모달 LLM의 잊어버림을 평가합니다.