Existing work considers Domain Adaptive Continual Pre-training (DACPT), a setting where a series of unlabelled domains become available to the LM sequentially and practitioners wish to train on each domain in a self-supervised fashion while retaining performance across each of them. While the objective is similar to our own, we consider general-purpose pre-training datasets that mix many domains as opposed to domain-specific datasets. Ke et al. (2022) assume data from previous domains is not available when training on new domains and develop a new technique for this setting which involves an importance mask of parameters for all previous tasks to prevent forgetting when pre-training with a masked language modeling (MLM) objective. Gururangan et al. (2020) investigated domain and task adaptive pre-training of RoBERTa (also MLM) and contributed a sample selection strategy for efficient continual pre-training. Similarly, Xie et al. (2023) also propose a data selection strategy that reduces the computational cost of continual pre-training (shown for autoregressive LLMs). Qin et al. (2023) investigate re-cycling fine-tuned adapter layers of previous base LMs as the initialization of new adapters for adapting continually updated versions of the base LM to specific tasks. Recently, Wu et al. (2024) proposed LLaMA Pro, a method for the continual pre-training of LLMs that enables learning new tasks without forgetting previous knowledge. However, unlike our work which considers adapting all existing weights, LLaMA Pro requires growing the size of the model for each new update and only adjusting the new weights.
기존 연구에서는 일련의 라벨이 없는 도메인이 LM에 순차적으로 제공되고, 실무자가 각 도메인에서 self-supervised 방식으로 학습하는 동시에 각 도메인에서 성능을 유지하기를 원하는 설정인 Domain Adaptive Continual Pre-training (DACPT)을 고려합니다. 목표는 저희와 비슷하지만, 도메인별 데이터 세트가 아닌 여러 도메인을 혼합한 범용 사전 학습 데이터 세트를 고려합니다. Ke 등(2022)은 새로운 도메인에서 학습할 때 이전 도메인의 데이터를 사용할 수 없다고 가정하고 masked language modeling (MLM) 목표로 사전 학습할 때 잊어버리지 않도록 이전 모든 작업에 대한 파라미터의 중요도 마스크를 포함하는 새로운 기법을 개발했습니다. Gururangan 등(2020)은 RoBERTa(역시 MLM)의 도메인 및 작업 adaptive pre-training을 조사하고 효율적인 지속적 사전 학습을 위한 샘플 선택 전략을 제안했습니다. 마찬가지로 Xie 등(2023)도 지속적 사전 학습의 계산 비용을 줄이는 데이터 선택 전략을 제안했습니다(autoregressive LLM에 대해 설명). Qin 등(2023)은 이전에 fine-tuning된 어댑터 레이어를 기본 LM의 지속적으로 업데이트된 버전을 특정 작업에 적용하기 위한 새로운 어댑터의 초기화로 재활용하는 방법을 연구했습니다. 최근 Wu 등(2024)은 이전 지식을 잊지 않고 새로운 작업을 학습할 수 있는 LLM의 지속적 사전 학습 방법인 LLaMA Pro를 제안했습니다. 그러나 기존 가중치를 모두 조정하는 저희의 연구와 달리, LLaMA Pro는 새로운 업데이트가 있을 때마다 모델의 크기를 늘리고 새로운 가중치만 조정해야 합니다.
기존 연구에서는 일련의 라벨이 없는 도메인이 LM에 순차적으로 제공되고, 실무자가 각 도메인에서 자가 지도 방식으로 학습하는 동시에 각 도메인에서 성능을 유지하기를 원하는 설정인 도메인 적응 지속적 사전 학습(DACPT)을 고려합니다. 목표는 저희와 비슷하지만, 도메인별 데이터 세트가 아닌 여러 도메인을 혼합한 범용 사전 학습 데이터 세트를 고려합니다. Ke 등(2022)은 새로운 도메인에서 학습할 때 이전 도메인의 데이터를 사용할 수 없다고 가정하고 마스킹된 언어 모델링(MLM) 목표로 사전 학습할 때 잊어버리지 않도록 이전 모든 작업에 대한 파라미터의 중요도 마스크를 포함하는 새로운 기법을 개발했습니다. Gururangan 등(2020)은 RoBERTa(역시 MLM)의 도메인 및 작업 적응 사전 학습을 조사하고 효율적인 지속적 사전 학습을 위한 샘플 선택 전략을 제안했습니다. 마찬가지로 Xie 등(2023)도 지속적 사전 학습의 계산 비용을 줄이는 데이터 선택 전략을 제안했습니다(자동 회귀 LLM에 대해 설명). Qin 등(2023)은 이전에 미세 조정된 어댑터 레이어를 기본 LM의 지속적으로 업데이트된 버전을 특정 작업에 적용하기 위한 새로운 어댑터의 초기화로 재활용하는 방법을 연구했습니다. 최근 Wu 등(2024)은 이전 지식을 잊지 않고 새로운 작업을 학습할 수 있는 LLM의 지속적 사전 학습 방법인 LLaMA Pro를 제안했습니다. 그러나 기존 가중치를 모두 조정하는 저희의 연구와 달리, LLaMA Pro는 새로운 업데이트가 있을 때마다 모델의 크기를 늘리고 새로운 가중치만 조정해야 합니다.