\(N=2\) **settings** - Here we assume a model is available (e.g. via hugging face or pre-trained in-house) that has been pre-trained for autoregressive language modeling on a dataset (\(\mathcal{D}_{0}\)) using a linear warmup and cosine decay LR schedule. We also assume that the schedule follows existing conventions in the literature (e.g. decaying to the token budget; see Sec. 4 for details) as it is the case for most performant pre-trained LLMs (Rae et al., 2021; Hoffmann et al., 2022; Touvron et al., 2023; 1). Given a model pre-trained on \(\mathcal{D}_{0}\), we now assume that a practitioner wants to update this model on a new dataset \(\mathcal{D}_{1}\) using the same self-supervised objective.
\(N=2\) **settings** - 여기서는 선형 워밍업과 코사인 감쇠 Learning Rate 스케줄을 사용하여 데이터 집합(\(\mathcal{D}_{0}\))에서 자동 회귀 언어 모델링을 위해 사전 학습된 모델(예: 허깅 페이스 또는 사전 학습된 사내 모델)을 사용할 수 있다고 가정합니다. 또한 대부분의 성능이 뛰어난 사전 학습된 LLMs (Rae et al., 2021; Hoffmann et al., 2022; Touvron et al., 2023; 1)의 경우와 같이 일부 문헌의 기존 규칙(예: 토큰 예산으로 감소, 세부 사항은 섹션 4 참조)을 따르는 일정을 따른다고 가정합니다. \(\mathcal{D}_{0}\)에 대해 사전 학습된 모델이 주어지면, 이제 실무자가 동일한 self-supervised objective를 사용하여 새로운 데이터 세트 \(\mathcal{D}_{1}\)에서 이 모델을 업데이트하고자 한다고 가정합니다.
\(N=2\) **설정** - 여기서는 선형 워밍업과 코사인 감쇠 LR 스케줄을 사용하여 데이터 집합(\mathcal{D}_{0}\))에서 자동 회귀 언어 모델링을 위해 사전 학습된 모델(예: 허깅 페이스 또는 사전 학습된 사내 모델)을 사용할 수 있다고 가정합니다. 또한 대부분의 성능이 뛰어난 사전 학습된 LLM(Rae et al., 2021; Hoffmann et al., 2022; Touvron et al., 2023; 1)의 경우와 같이 일부 문헌의 기존 규칙(예: 토큰 예산으로 감소, 세부 사항은 섹션 4 참조)을 따르는 일정을 따른다고 가정합니다.mathcal{D}_{0}\)에 대해 사전 학습된 모델이 주어지면, 이제 실무자가 동일한 자가 지도 목표를 사용하여 새로운 데이터 세트 \mathcal{D}_{1}\)에서 이 모델을 업데이트하고자 한다고 가정합니다.