Given the great potential for continual learning to considerably reduce costs associated with re-training models and the potential for LLMs to be strong continual learners, we ask ourselves the following question: _when simple and scalable continual learning techniques are applied, what is the performance difference between continually pre-trained LLMs relative to LLMs pre-trained from random initialization on the union of all data?_ To answer this question, we conduct a large-scale empirical study of continual learning techniques for LLM pre-training. Our empirical evaluation spans large (10B parameters) and small (405M parameters) models as well as weak (English \(\rightarrow\) English) and stronger (English \(\rightarrow\) German) distribution shifts.
지속적인 학습을 통해 모델 재교육과 관련된 비용을 상당히 줄일 수 있는 엄청난 잠재력과 LLM이 강력한 지속 학습자가 될 수 있는 잠재력을 고려할 때, 다음과 같은 질문을 던집니다: _간단하고 확장 가능한 지속 학습 기술을 적용할 때, 모든 데이터의 합집합에 대해 무작위 초기화로 pre-trained된 LLM과 지속적으로 pre-trained된 LLM의 성능 차이는 무엇일까요?_ 이 질문에 답하기 위해 LLM pre-training을 위한 지속 학습 기술에 대한 대규모 실증 연구를 수행합니다. 저희의 실증 평가는 대규모(100억 개의 파라미터) 및 소규모(4억 5천만 개의 파라미터) 모델과 약한(영어(→)영어) 및 강한(영어(→)독일어) 분포 이동에 걸쳐 이루어집니다.
지속적인 학습을 통해 모델 재교육과 관련된 비용을 상당히 줄일 수 있는 엄청난 잠재력과 LLM이 강력한 지속 학습자가 될 수 있는 잠재력을 고려할 때, 다음과 같은 질문을 던집니다: _간단하고 확장 가능한 지속 학습 기술을 적용할 때, 모든 데이터의 합집합에 대해 무작위 초기화로 사전 학습된 LLM과 지속적으로 사전 학습된 LLM의 성능 차이는 무엇일까요?_ 이 질문에 답하기 위해 LLM 사전 학습을 위한 지속 학습 기술에 대한 대규모 실증 연구를 수행합니다. 저희의 실증 평가는 대규모(100억 개의 파라미터) 및 소규모(4억 5천만 개의 파라미터) 모델과 약한(영어(\우측수렴)영어) 및 강한(영어(\우측수렴)독일어) 분포 이동에 걸쳐 이루어집니다.