**RecAdam**(Chen et al., 2020) falls into the category of regularization methods. It places a stronger independent assumption among the model parameters than the traditional regularization method (EWC (Kirkpatrick et al., 2017)) and does not access the initial pretraining corpus to regularize the model weights during continued pretraining. The optimizer is annealed so that less regularization is applied as the training progresses.
**RecAdam**(Chen et al., 2020)은 정규화 방법의 범주에 속합니다. 이는 기존의 정규화 방법(EWC(Kirkpatrick et al., 2017))보다 모델 파라미터 사이에 더 강력한 독립적인 가정을 두고 있으며, 지속적인 사전 학습 중에 모델 가중치를 정규화하기 위해 초기 사전 학습 코퍼스에 액세스하지 않습니다. Optimizer는 annealing되어 학습이 진행됨에 따라 규제가 덜 적용됩니다.
정규화 방법의 범주에 속하는 **RecAdam**(Chen et al., 2020)은 기존의 정규화 방법(EWC(Kirkpatrick et al., 2017))보다 모델 파라미터 사이에 더 강력한 독립적인 가정을 두고 있으며, 지속적인 사전 학습 중에 모델 가중치를 정규화하기 위해 초기 사전 학습 코퍼스에 액세스하지 않습니다. 옵티마이저는 앤닐링되어 학습이 진행됨에 따라 규제가 덜 적용됩니다.