While LLMs are the cornerstone of current generative AI technology, they are prohibitively expensive to train and keep up to date. However, as new and higher-quality datasets continue to become available (Gao et al., 2020; Soboleva et al., 2023; Computer, 2023; Soldaini et al., 2024), organizations will need to update their models to stay abreast of the competition. Currently, LLMs are re-trained on a combination of old and newly collected data. Existing works aim to reduce these training costs by enabling low-cost hyperparameter optimization (Yang et al., 2022) or providing guidelines for maximizing performance under a given compute budget (Hoffmann et al., 2022). However, these works assume that models will be _trained from random initialization_, raising the following question: Should practitioners always combine existing datasets and _train from random initialization_ to obtain the best performance? Doing so for every update of the models quickly becomes prohibitively expensive.
LLMs는 현재 제너레이티브 AI 기술의 초석이지만, 훈련하고 최신 상태로 유지하는 데는 엄청난 비용이 소요됩니다. 그러나 새로운 고품질 데이터 세트가 계속 공개되고 있기 때문에(Gao et al., 2020; Soboleva et al., 2023; Computer, 2023; Soldaini et al., 2024), 기업은 경쟁에서 앞서 나가기 위해 모델을 업데이트해야 할 필요가 있습니다. 현재 LLMs는 기존 데이터와 새로 수집된 데이터를 조합하여 다시 학습합니다. 기존 연구에서는 저비용 hyperparameter optimization(Yang et al., 2022)을 가능하게 하거나 주어진 컴퓨팅 예산에서 성능을 극대화하기 위한 가이드라인을 제공함으로써 이러한 훈련 비용을 줄이는 것을 목표로 합니다(Hoffmann et al., 2022). 그러나 이러한 작업은 모델이 _무작위 초기화에서 훈련_된다고 가정하며, 다음과 같은 질문이 제기됩니다: 실무자가 최상의 성능을 얻기 위해 항상 기존 데이터 세트를 결합하고 _무작위 초기화에서 훈련_해야 하나요? 모델을 업데이트할 때마다 이렇게 하면 비용이 엄청나게 많이 듭니다.
LLM은 현재 제너레이티브 AI 기술의 초석이지만, 훈련하고 최신 상태로 유지하는 데는 엄청난 비용이 소요됩니다. 그러나 새로운 고품질 데이터 세트가 계속 공개되고 있기 때문에(Gao et al., 2020; Soboleva et al., 2023; Computer, 2023; Soldaini et al., 2024), 기업은 경쟁에서 앞서 나가기 위해 모델을 업데이트해야 할 필요가 있습니다. 현재 LLM은 기존 데이터와 새로 수집된 데이터를 조합하여 다시 학습합니다. 기존 연구에서는 저비용 하이퍼파라미터 최적화(Yang et al., 2022)를 가능하게 하거나 주어진 컴퓨팅 예산에서 성능을 극대화하기 위한 가이드라인을 제공함으로써 이러한 훈련 비용을 줄이는 것을 목표로 합니다(Hoffmann et al., 2022). 그러나 이러한 작업은 모델이 _무작위 초기화에서 훈련_된다고 가정하며, 다음과 같은 질문이 제기됩니다: 실무자가 최상의 성능을 얻기 위해 항상 기존 데이터 세트를 결합하고 _무작위 초기화에서 훈련_해야 하나요? 모델을 업데이트할 때마다 이렇게 하면 비용이 엄청나게 많이 듭니다.