_In summary, continually pre-training LLMs, both re-warming and re-decaying are necessary to maximize adaptation to the new dataset; small increases or decreases in \(\eta_{\text{max}}\) allow to trade-off between more or less adaptation; a stronger distribution shift between \(\mathcal{D}_{0}\) and \(\mathcal{D}_{1}\) exacerbates forgetting and enhances adaptation; and the duration of linear warm-up phase does not appear to be impactful on forgetting or adaptation._
_요약하면, 새로운 데이터 집합에 대한 적응을 극대화하기 위해서는 지속적으로 LLMs을 사전 학습하고, 재가열과 재감쇠가 모두 필요하며, \(\eta_{\text{max}}\)의 작은 증가 또는 감소를 통해 더 많은 적응 또는 적은 적응 사이에서 trade-off할 수 있으며, \(\mathcal{D}_{0}\)과 \(\mathcal{D}_{1}\) 사이의 분포 이동이 강해지면 잊어버림이 악화되고 적응이 강화되며, 선형 warm-up 단계의 기간은 잊어버림이나 적응에 영향을 미치지 않는 것으로 보입니다.
_요약하면, 새로운 데이터 집합에 대한 적응을 극대화하기 위해서는 지속적으로 LLM을 사전 학습하고, 재가열과 재감쇠가 모두 필요하며, \(\eta_{\text{max}}\)의 작은 증가 또는 감소를 통해 더 많은 적응 또는 적은 적응 사이에서 트레이드 오프할 수 있으며, \(\mathcal{D}_{0}\)과 \(\mathcal{D}_{1}\) 사이의 분포 이동이 강해지면 잊어버림이 악화되고 적응이 강화되며, 선형 워밍업 단계의 기간은 잊어버림이나 적응에 영향을 미치지 않는 것으로 보입니다.