For our benchmark pre-trained LLM model, we select 1B and 6.9B parameter models from the Pythia suite [4]. The Pythia model suite offers a diverse array of model sizes, ranging from 70 million to 12 billion parameters. The continual pre-training configuration is tailored from Pythia's training setup [4]. Specifically, we set a learning rate of 1.2e-05 for FinPythia-6.9B and 3e-05 for _FinPythia-1B_, the smallest learning rates in their original schedules. We use small learning rates to mitigate catastrophic forgetting. We keep them constant throughout the course for efficient pre-training. We use the precision of fb16 rather than fp16 used in Pythia. We half the original batch size to 512.
벤치마크 사전 학습 LLM 모델의 경우, Pythia 제품군 [4]에서 1B 및 6.9B 파라미터 모델을 선택합니다. Pythia 모델 제품군은 7천만 개에서 120억 개에 이르는 다양한 모델 크기를 제공합니다. 지속적인 사전 학습 구성은 Pythia의 훈련 설정 [4]에서 조정합니다. 특히, 우리는 원래 일정에서 가장 작은 Learning Rate인 FinPythia-6.9B의 경우 1.2e-05, _FinPythia-1B_의 경우 3e-05의 Learning Rate를 설정합니다. 우리는 재앙적 망각을 완화하기 위해 작은 Learning Rate를 사용합니다. 효율적인 사전 학습을 위해 전체 과정에서 일정하게 유지합니다. Pythia에서 사용한 fp16이 아닌 fb16의 정밀도를 사용합니다. 원래 Batch Size를 512로 절반으로 줄였습니다.
벤치마크 사전 학습 LLM 모델의 경우, Pythia 제품군 [4]에서 1B 및 6.9B 파라미터 모델을 선택합니다. Pythia 모델 제품군은 7천만 개에서 120억 개에 이르는 다양한 모델 크기를 제공합니다. 지속적인 사전 학습 구성은 Pythia의 학습 설정 [4]에서 조정합니다. 특히, 우리는 원래 일정에서 가장 작은 학습 속도인 FinPythia-6.9B의 경우 1.2e-05, _FinPythia-1B_의 경우 3e-05의 학습 속도를 설정합니다. 우리는 재앙적 망각을 완화하기 위해 작은 학습 속도를 사용합니다. 효율적인 사전 학습을 위해 전체 과정에서 일정하게 유지합니다. Pythia에서 사용한 fp16이 아닌 fb16의 정밀도를 사용합니다. 원래 배치 크기를 512로 절반으로 줄였습니다.