where, \(\Theta\) represents the model parameters, \(\mathcal{D}_{\text{PT}}\) is the pre-training dataset, \(x_{i}\) is the token to be predicted, and \(x_{0},x_{1},\ldots,x_{i-1}\) constitute the context.
여기서 \(\Theta\)는 모델 파라미터를 나타내고, \(\mathcal{D}_{\text{PT}}\)는 pre-training 데이터 세트이며, \(x_{i}\)는 예측할 token이고, \(x_{0},x_{1},\ldots,x_{i-1}\)는 context를 구성합니다.
여기서 \(\Theta\)는 모델 파라미터를 나타내고, \(\mathcal{D}_{\text{PT}}\)는 사전 학습 데이터 세트이며, \(x_{i}\)는 예측할 토큰이고, \(x_{0},x_{1},\ldots,x_{i-1}\)는 문맥을 구성합니다.