* 1 Introduction
* 2 Main findings and Takeaways
* 3 Related Work
	* 3.1 Continual learning
	* 3.2 Pre-training, Model Scale, and Continual Learning
	* 3.3 Domain Adaptive Continual Pre-training (DACPT)
	* 3.4 Continual Learning for LMs Applied to Specific Domains
	* 3.5 Learning Rate Schedules
* 4 Background & Methodology
	* 4.1 Linear Warmup and Cosine Decay Schedule
	* 4.2 Compute-equivalent Replay
* 5 Experimental Setup
	* 5.1 Datasets
	* 5.2 Continual Learning Settings
	* 5.3 Training Setup
	* 5.4 German and English LM Evaluation Benchmark
* 6 Results
	* 6.1 Learning Rate Schedule
		* 6.1.1 The Effect of Linear Warmup for Weak and Strong Distribution Shifts. 		* 6.1.2 The effect of re-warming, re-decaying, and varying \(\eta_{max}\) for Weak and Strong Distribution Shifts. 	* 6.2 The Effect of Replay
	* 6.3 Continual Pre-training Final Performance for Weak and Strong Distribution Shifts.
* 1 소개
* 2 주요 결과 및 요점
* 3 관련 연구
	* 3.1 Continual learning
	* 3.2 Pre-training, Model Scale, and Continual Learning
	* 3.3 Domain Adaptive Continual Pre-training (DACPT)
	* 3.4 Continual Learning for LMs Applied to Specific Domains
	* 3.5 Learning Rate Schedules
* 4 배경 및 방법론
	* 4.1 Linear Warmup and Cosine Decay Schedule
	* 4.2 Compute-equivalent Replay
* 5 실험 설정
	* 5.1 데이터 세트
	* 5.2 Continual Learning Settings
	* 5.3 Training Setup
	* 5.4 독일어 및 영어 LM 평가 벤치마크
* 6 결과
	* 6.1 Learning Rate Schedule
		* 6.1.1 약한 분포 이동과 강한 분포 이동에 대한 Linear Warmup의 효과.
		* 6.1.2 약한 분포 이동과 강한 분포 이동에 대한 재워밍, 재감쇠 및 다양한 (\(\eta_{max}\))의 효과.
	* 6.2 Replay의 효과
	* 6.3 약한 분포 이동과 강한 분포 이동에 대한 지속적 사전 학습 최종 성능.
* 1 소개
* 2 주요 결과 및 요점
* 3 관련 연구
	* 3.1 지속 학습
	* 3.2 사전 학습, 모델 규모 및 지속 학습
	* 3.3 도메인 적응 지속 사전 학습(DACPT)
	* 3.4 특정 도메인에 적용된 LM용 지속 학습
	* 3.5 학습 속도 일정
* 4 배경 및 방법론
	* 4.1 선형 워밍업 및 코사인 감쇠 일정
	* 4.2 계산 등가 리플레이
* 5 실험 설정
	* 5.1 데이터 세트
	* 5.2 지속 학습 설정
	* 5.3 훈련 설정
	* 5.4 독일어 및 영어 LM 평가 벤치마크
* 6 결과
	* 6.1 학습 속도 일정
		* 6.1.1 약한 분포 이동과 강한 분포 이동에 대한 선형 워밍업의 효과. 		* 6.1.2 약한 분포 이동과 강한 분포 이동에 대한 재워밍, 재감쇠 및 다양한 (\eta_{max}\)의 효과. 	* 6.2 리플레이의 효과
	* 6.3 약한 분포 이동과 강한 분포 이동에 대한 지속적 사전 학습 최종 성능.