RegularizationMost CL methods that utilize regularization require computing important parameters of the previous task, which in this case is pretraining on the original text corpus. Determining these parameters is oftentimes unrealistic since it requires large-scale pretraining which can hardly be replicated by most. Also, exactly how and where the knowledge is stored in the parameters of an LM is currently extremely difficult to identify and localize (Vig et al., 2020; De Cao et al., 2021). RecAdam (Chen et al., 2020) overcomes this limitation by following the same training objective as EWC (Kirkpatrick et al., 2017) with a stronger independent assumption and places a quadratic penalty, riding the need to access the initial pretraining corpus.
정규화. 정규화를 활용하는 대부분의 CL 방법은 이전 작업의 중요한 매개변수를 계산해야 하는데, 이 경우 원본 텍스트 코퍼스에 대한 pretraining이 필요합니다. 이러한 매개변수를 결정하는 것은 대부분의 경우 대규모 pretraining이 필요하기 때문에 현실적으로 불가능합니다. 또한 지식이 LM의 매개변수에 어떻게, 어디에 저장되는지는 현재 식별하고 로컬라이징하기가 매우 어렵습니다(Vig et al., 2020; De Cao et al., 2021). RecAdam(Chen et al., 2020)은 EWC(Kirkpatrick et al., 2017)와 동일한 training objective를 따르면서 더 강력한 독립 가정을 세우고 이차 페널티를 부과하여 초기 pretraining 코퍼스에 대한 액세스의 필요성을 극복합니다.
정규화정규화를 활용하는 대부분의 CL 방법은 이전 작업의 중요한 매개변수를 계산해야 하는데, 이 경우 원본 텍스트 코퍼스에 대한 사전 학습이 필요합니다. 이러한 매개변수를 결정하는 것은 대부분의 경우 대규모 사전 학습이 필요하기 때문에 현실적으로 불가능합니다. 또한 지식이 LM의 매개변수에 어떻게, 어디에 저장되는지는 현재 식별하고 로컬라이징하기가 매우 어렵습니다(Vig et al., 2020; De Cao et al., 2021). RecAdam(Chen et al., 2020)은 EWC(Kirkpatrick et al., 2017)와 동일한 훈련 목표를 따르면서 더 강력한 독립 가정을 세우고 이차 페널티를 부과하여 초기 사전 학습 코퍼스에 대한 액세스의 필요성을 극복합니다.