Traditional continual learning (CL) methods focus on addressing two aspects of transfer between sequentially incoming tasks: _forward transfer_ and _backward transfer_(Lopez-Paz and Ranzato, 2017). _Forward transfer_ refers to how past tasks affect the performance of the current and future tasks. _Backward transfer_ refers to how current or future tasks affect the performance of previous tasks. The general pretrain-finetune approach can be seen as an instance of _positive forward transfer_ where a model performs better on a target task after being pretrained on a more general source task. Moreover, catastrophic forgetting can be seen as an instance of _negative backward transfer_ where previous tasks suffer performance due to continued training on different tasks. With respect to these two aspects, CL approaches can be categorized into three main approaches: regularization, rehearsal, and parameter-expansion methods.
기존의 지속 학습(CL) 방법은 순차적으로 들어오는 작업 간의 전이에 대한 두 가지 측면, 즉 _forward transfer_와 _backward transfer_(Lopez-Paz 및 Ranzato, 2017)를 해결하는 데 중점을 둡니다. _Forward transfer_는 과거 작업이 현재 및 미래 작업의 성능에 어떤 영향을 미치는지를 의미합니다. _Backward transfer_는 현재 또는 미래 작업이 이전 작업의 성능에 미치는 영향을 의미합니다. 일반적인 사전 학습-Fine-tuning 접근 방식은 보다 일반적인 소스 작업에 대해 사전 학습한 후 모델이 대상 작업에서 더 나은 성능을 발휘하는 _positive forward transfer_의 한 예로 볼 수 있습니다. 또한, 파국적 망각은 _negative backward transfer_의 한 예로 볼 수 있는데, 이는 다른 작업에 대한 지속적인 훈련으로 인해 이전 작업의 성능이 저하되는 것을 의미합니다. 이 두 가지 측면과 관련하여 CL 접근 방식은 정규화, 리허설, 매개변수 확장 방법의 세 가지 주요 접근 방식으로 분류할 수 있습니다.
기존의 지속 학습(CL) 방법은 순차적으로 들어오는 작업 간의 전이에 대한 두 가지 측면, 즉 _전진 전이_와 _후진 전이_(Lopez-Paz 및 Ranzato, 2017)를 해결하는 데 중점을 둡니다. 전진 전이는 과거 작업이 현재 및 미래 작업의 성능에 어떤 영향을 미치는지를 의미합니다. 후진 전이는 현재 또는 미래 작업이 이전 작업의 성능에 미치는 영향을 의미합니다. 일반적인 사전 학습-미세 조정 접근 방식은 보다 일반적인 소스 작업에 대해 사전 학습한 후 모델이 대상 작업에서 더 나은 성능을 발휘하는 _긍정적 전진 전이_의 한 예로 볼 수 있습니다. 또한, 파국적 망각은 _부정적인 역전이_의 한 예로 볼 수 있는데, 이는 다른 작업에 대한 지속적인 훈련으로 인해 이전 작업의 성능이 저하되는 것을 의미합니다. 이 두 가지 측면과 관련하여 CL 접근 방식은 정규화, 리허설, 매개변수 확장 방법의 세 가지 주요 접근 방식으로 분류할 수 있습니다.