where \(\theta_{CP}\) represents the model parameters, \(\mathcal{D}_{\mathcal{CP}}\) stands for the data used in continual pre-training, S represents the length of the input token sequence, and \(x_{i}\) represents the token to be predicted, while \(x_{0},x_{1},...,x_{i-1}\) make up the context.
\(\theta_{CP}\)는 모델 파라미터를 나타내고, \(\mathcal{D}_{\mathcal{CP}}\)는 지속적인 사전 학습에 사용되는 데이터를 의미하며, S는 입력 토큰 시퀀스의 길이를 나타내고, \(x_{i}\)는 예측할 토큰을 나타내며, \(x_{0}, x_{1}, ..., x_{i-1}\)는 문맥을 구성합니다.
여기서 \(\theta_{CP}\)는 모델 파라미터를 나타내고, \(\mathcal{D}_{\mathcal{CP}}\)는 연속적인 사전 학습에 사용된 데이터를 나타내며, S는 입력 토큰 시퀀스의 길이를 나타내고, \(x_{i}\)는 예측할 토큰을 나타내며, \(x_{0},x_{1},...,x_{i-1}\)는 문맥을 구성합니다.