While we have conducted a thorough empirical evaluation of continual pre-training for LLMs, there are some limitations to our work. In no particular order: 1) we only studied two model sizes (405M and 10B); 2) we did not run deduplication between the German training and validation datasets created from the German Common Crawl scrape (Laippala et al., 2022); 3) we primarily study the transition between two subsequent tasks; 4) we did not run our experiments over multiple seeds; and 5) our experiments on infinite learning rate schedules are limited to 405M scale with no distribution shift.
LLM에 대한 지속적인 사전 학습에 대한 철저한 경험적 평가를 수행했지만, 이 작업에는 몇 가지 한계가 있습니다. 특별한 순서 없이 1) 두 가지 모델 크기(405M 및 10B)만 연구했고, 2) 독일 Common Crawl scrape에서 생성된 독일 training 및 validation 데이터 세트 간에 deduplication을 실행하지 않았습니다(Laippala et al., 2022), 3) 주로 두 개의 연속적인 작업 간의 전환을 연구했습니다; 4) 여러 seed에 걸쳐 실험을 실행하지 않았고, 5) 무한 Learning Rate 일정에 대한 실험은 distribution shift가 없는 405M 규모로 제한됩니다.
LLM에 대한 지속적인 사전 학습에 대한 철저한 경험적 평가를 수행했지만, 이 작업에는 몇 가지 한계가 있습니다. 특별한 순서 없이 1) 두 가지 모델 크기(405M 및 10B)만 연구했고, 2) 독일 커먼 크롤링 스크랩에서 생성된 독일 교육 및 검증 데이터 세트 간에 중복 제거를 실행하지 않았습니다(Laippala et al., 2022), 3) 주로 두 개의 연속적인 작업 간의 전환을 연구했습니다; 4) 여러 시드에 걸쳐 실험을 실행하지 않았고, 5) 무한 학습 속도 일정에 대한 실험은 배포 시프트가 없는 405M 규모로 제한됩니다.