Several existing works evaluate the impact of pre-training and model scale on continual learning. Cossu et al. (2022) investigate pre-training scenarios for language and vision. They find that unsupervised and self-supervised pre-training plays a fundamental role in mitigating forgetting, while supervision hurts performance. Similarly, Mehta et al. (2023) find that pre-trained models forget less than randomly initialized models, due to their weights lying in flatter regions of the loss landscape. They also find that larger models forget less which is connected to the findings of Ramasesh et al. (2022); Mirzadeh et al. (2022). The former finds that pre-trained models forget less as they are scaled up, suggesting that it may be due to the hidden representations growing more orthogonal with scale. The latter finds that wider neural networks forget less compared to their parameter-equivalent deeper counterparts. Hernandez et al. (2021) establish scaling laws for transfer: equations that can predict the performance of a neural network on a new task as a function of its parameter count and pre-training dataset size. The authors find that this positive transfer consistently improves as the parameter count increases. Finally, Scialom et al. (2022) show that autoregressive LLMs have a strong ability to learn continually which they hypothesize is related to their pre-training objective.
사전 학습과 모델 규모가 지속 학습에 미치는 영향을 평가하는 기존 연구 결과가 여러 개 있습니다. Cossu 등(2022)은 언어와 비전에 대한 pre-training 시나리오를 조사합니다. 이들은 비지도 및 self-supervised pre-training이 잊어버림을 완화하는 데 근본적인 역할을 하는 반면, 지도는 성능에 해를 끼친다는 사실을 발견했습니다. 마찬가지로 Mehta 등(2023)은 pre-trained 모델은 무작위로 초기화된 모델보다 가중치가 loss landscape의 더 평평한 영역에 위치하기 때문에 덜 잊어버린다는 사실을 발견했습니다. 또한 더 큰 모델이 덜 잊어버린다는 사실을 발견했는데, 이는 Ramasesh 등(2022)과 Mirzadeh 등(2022)의 연구 결과와도 연결됩니다. 전자는 pre-trained 모델이 규모가 커짐에 따라 덜 잊어버리는 것을 발견했는데, 이는 숨겨진 표현이 규모에 따라 더 직교하게 커지는 것 때문일 수 있다고 제안합니다. 후자는 파라미터와 동일한 더 깊은 모델에 비해 더 넓은 신경망이 덜 잊어버리는 것을 발견했습니다. Hernandez 등(2021)은 scaling laws for transfer, 즉 파라미터 수와 pre-training 데이터 세트 크기의 함수로서 새로운 작업에서 신경망의 성능을 예측할 수 있는 방정식을 확립했습니다. 저자는 파라미터 수가 증가함에 따라 이러한 양의 전이가 지속적으로 개선되는 것을 발견했습니다. 마지막으로, Scialom 등(2022)은 autoregressive LLM이 지속적으로 학습할 수 있는 강력한 능력을 가지고 있으며, 이는 pre-training objective와 관련이 있다고 가설을 세웁니다.
사전 학습과 모델 규모가 지속 학습에 미치는 영향을 평가하는 기존 연구 결과가 여러 개 있습니다. Cossu 등(2022)은 언어와 비전에 대한 사전 학습 시나리오를 조사합니다. 이들은 비지도 및 자기 지도 사전 학습이 잊어버림을 완화하는 데 근본적인 역할을 하는 반면, 지도는 성능에 해를 끼친다는 사실을 발견했습니다. 마찬가지로 Mehta 등(2023)은 사전 학습된 모델은 무작위로 초기화된 모델보다 가중치가 손실 조망의 더 평평한 영역에 위치하기 때문에 덜 잊어버린다는 사실을 발견했습니다. 또한 더 큰 모델이 덜 잊어버린다는 사실을 발견했는데, 이는 Ramasesh 등(2022)과 Mirzadeh 등(2022)의 연구 결과와도 연결됩니다. 전자는 사전 학습된 모델이 규모가 커짐에 따라 덜 잊어버리는 것을 발견했는데, 이는 숨겨진 표현이 규모에 따라 더 직교하게 커지는 것 때문일 수 있다고 제안합니다. 후자는 파라미터와 동일한 더 깊은 모델에 비해 더 넓은 신경망이 덜 잊어버리는 것을 발견했습니다. Hernandez 등(2021)은 전이에 대한 스케일링 법칙, 즉 파라미터 수와 사전 학습 데이터 세트 크기의 함수로서 새로운 작업에서 신경망의 성능을 예측할 수 있는 방정식을 확립했습니다. 저자는 파라미터 수가 증가함에 따라 이러한 양의 전이가 지속적으로 개선되는 것을 발견했습니다. 마지막으로, Scialom 등(2022)은 자동 회귀 LLM이 지속적으로 학습할 수 있는 강력한 능력을 가지고 있으며, 이는 사전 학습 목표와 관련이 있다고 가설을 세웁니다.