We consider three realistic continual pre-training settings in the main body and provide results for a third which we believe is less warranted in the appendix. Each setting was carefully selected to expose different challenges and strengths of continual pre-training.
본문에서는 세 가지 현실적인 연속 사전 학습 설정을 고려하고 부록에서는 그 중 세 번째 설정에 대한 결과를 제공합니다. 각 설정은 연속 사전 학습의 다양한 과제와 강점을 드러내기 위해 신중하게 선택되었습니다.
본문에서는 세 가지 현실적인 연속 사전 학습 설정을 고려하고 부록에서는 그 중 3가지에 대한 결과를 제공하며, 이 중 3가지는 서로 다른 과제와 연속 사전 학습의 강점을 드러내기 위해 신중하게 선택되었습니다.