We now explore the role of the infinite learning rate schedules when multiple new datasets are seen in a continual learning setup. The models are trained from random initialization with different learning rate schedules on 3 IID 100B subsets of SlimPajama (e.g., our _three datasets no shift_ setting; see Sec 5.2). We focus on the no shift setting in these preliminary experiments and leave the weak and strong shift cases to future work. This task simulates a setting where large amounts of data from the same distribution are received at time increments and we wish to continue pre-training our models on them (e.g., continuing to pre-train the model on the latest web-scrape). To make our results applicable to situations where previous optimizer states are not available, we do not keep optimizer states across dataset boundaries. Fig. 9 reports training curves for 405M parameter models.
지금부터 지속 학습 설정에서 여러 개의 새로운 데이터 세트가 표시될 때 무한 Learning Rate 일정의 역할을 살펴봅니다. 모델은 SlimPajama의 3개의 IID 100B 하위 집합(예: 세 가지 데이터 세트가 없는 설정, 섹션 5.2 참조)에서 서로 다른 Learning Rate 일정으로 무작위 초기화로부터 학습됩니다. 이 예비 실험에서는 변화가 없는 설정에 초점을 맞추고 약한 변화와 강한 변화의 경우는 향후 연구로 남겨두겠습니다. 이 작업은 동일한 분포의 대량의 데이터가 시간 간격으로 수신되고 이에 대해 모델을 계속 사전 학습하고자 하는 설정(예: 최신 웹 스크랩에 대해 모델을 계속 사전 학습하는 경우)을 시뮬레이션합니다. 이전 Optimizer 상태를 사용할 수 없는 상황에 적용할 수 있도록 데이터 집합 경계를 넘어 Optimizer 상태를 유지하지 않습니다. 그림 9는 405M 파라미터 모델에 대한 훈련 곡선을 보고합니다.
지금부터 지속 학습 설정에서 여러 개의 새로운 데이터 세트가 표시될 때 무한 학습 속도 일정의 역할을 살펴봅니다. 모델은 슬림파자마의 3개의 IID 100B 하위 집합(예: 세 가지 데이터 세트가 없는 설정, 섹션 5.2 참조)에서 서로 다른 학습 속도 일정으로 무작위 초기화로부터 학습됩니다. 이 예비 실험에서는 변화가 없는 설정에 초점을 맞추고 약한 변화와 강한 변화의 경우는 향후 연구로 남겨두겠습니다. 이 작업은 동일한 분포의 대량의 데이터가 시간 간격으로 수신되고 이에 대해 모델을 계속 사전 학습하고자 하는 설정(예: 최신 웹 스크랩에 대해 모델을 계속 사전 학습하는 경우)을 시뮬레이션합니다. 이전 최적화 상태를 사용할 수 없는 상황에 적용할 수 있도록 데이터 집합 경계를 넘어 최적화 상태를 유지하지 않습니다. 그림 9는 405M 파라미터 모델에 대한 훈련 곡선을 보고합니다.