CL approaches are convenient even in small-scale settings to avoid re-training from scratch or to bridge the data availability issue (Smith et al., 2021). However, at scale, CL is more than a convenience; it may be necessary to process huge amounts of continually gathered data. The recent increase in training scale, most notably for LLMs (Scao et al., 2022; Brown et al., 2020; Zhao et al., 2023), offers new opportunities for CL to reduce the cost of re-training and increase efficiency for memory, computing, and storage (Prabhu et al., 2023; Aljundi et al., 2019; Harun et al., 2023; Veniat et al., 2021; Harun et al., 2023). Just as federated learning can enable the sharing of compute and data between different agents co-located in space (McMahan et al., 2017; Reddi et al., 2021; Douillard et al., 2023; Ryabinin et al., 2021), continual learning allows the sharing of compute and data progressively through time and could be a useful tool for large-scale training.
CL 접근 방식은 처음부터 다시 훈련하는 것을 피하거나 데이터 가용성 문제를 해결하기 위해 소규모 환경에서도 편리합니다(Smith et al., 2021). 그러나 대규모에서는 CL이 편리한 수준을 넘어서 지속적으로 수집되는 방대한 양의 데이터를 처리해야 할 수도 있습니다. 최근 Large Language Models (LLMs)(Scao et al., 2022; Brown et al., 2020; Zhao et al., 2023)을 중심으로 훈련 규모가 증가함에 따라 CL을 통해 재훈련 비용을 절감하고 메모리, 컴퓨팅 및 스토리지 효율성을 높일 수 있는 새로운 기회가 제공되고 있습니다(Prabhu et al., 2023; Aljundi et al., 2019; Harun et al., 2023; Veniat et al., 2021; Harun et al., 2023). Federated learning이 공간적으로 공동 위치한 서로 다른 에이전트 간에 컴퓨팅과 데이터를 공유할 수 있도록 한다면(McMahan et al., 2017; Reddi et al., 2021; Douillard et al., 2023; Ryabinin et al., 2021), Continual learning은 시간을 통해 점진적으로 컴퓨팅과 데이터를 공유할 수 있으며 대규모 학습에 유용한 도구가 될 수 있습니다.
CL 접근 방식은 처음부터 다시 훈련하는 것을 피하거나 데이터 가용성 문제를 해결하기 위해 소규모 환경에서도 편리합니다(Smith et al., 2021). 그러나 대규모에서는 CL이 편리한 수준을 넘어서 지속적으로 수집되는 방대한 양의 데이터를 처리해야 할 수도 있습니다. 최근 LLM(Scao et al., 2022; Brown et al., 2020; Zhao et al., 2023)을 중심으로 훈련 규모가 증가함에 따라 CL을 통해 재훈련 비용을 절감하고 메모리, 컴퓨팅 및 스토리지 효율성을 높일 수 있는 새로운 기회가 제공되고 있습니다(Prabhu et al., 2023; Aljundi et al., 2019; Harun et al., 2023; Veniat et al., 2021; Harun et al., 2023). 페더레이티드 러닝이 공간적으로 공동 위치한 서로 다른 에이전트 간에 컴퓨팅과 데이터를 공유할 수 있도록 한다면(McMahan et al., 2017; Reddi et al., 2021; Douillard et al., 2023; Ryabinin et al., 2021), 지속적 학습은 시간을 통해 점진적으로 컴퓨팅과 데이터를 공유할 수 있으며 대규모 학습에 유용한 도구가 될 수 있습니다.