We run the continual pre-training job on one P4d.24xlarge instance through AWS SageMaker. As the model size is moderate, we only use data parallelism via DeepSpeed ZeRO Stage 2 [20] with activation checkpointing enabled. It takes 18 days for FinPythia-6.9B to pre-train and 3 days for FinPythia-1B to pre-train on 24 billion tokens.
AWS SageMaker를 통해 하나의 P4d.24xlarge 인스턴스에서 지속적인 pre-training 작업을 실행합니다. 모델 크기가 보통이므로 activation checkpointing 기능이 활성화된 DeepSpeed ZeRO Stage 2 [20]를 통한 data parallelism만 사용합니다. FinPythia-6.9B가 pre-train하는 데 18일, FinPythia-1B가 pre-train하는 데 3일이 걸립니다.
AWS SageMaker를 통해 하나의 P4d.24xlarge 인스턴스에서 지속적인 사전 학습 작업을 실행합니다. 모델 크기가 보통이므로 활성화 체크포인트 기능이 활성화된 DeepSpeed ZeRO Stage 2 [20]를 통한 데이터 병렬 처리만 사용합니다. FinPythia-6.9B가 사전 학습하는 데 18일, FinPythia-1B가 사전 학습하는 데 3일이 걸립니다.