Specifically, we train our models with a setup of 8 x NVIDIA H100 GPUs with 80GB memory each, utilizing 64 CPU cores. For EEVE-Korean-10.8B-v1.0, under bf16 precision, the training process is configured with a sequence of length 4096, gradient accumulation steps set to 4, and a micro-batch size of 8, whereas EEVE-Korean-2.8B-v1.0 adopts a sequence length of 2048, gradient accumulation of 16, and a micro-batch size of 16. We employ the AdamW (Loshchilov and Hutter, 2018) optimizer, paired with a cosine learning rate scheduler that includes a warmup phase of 10 steps. The learning rate for the 10.8B variant is set to 4e-5, while we used 2e-4 for the small model. We continued training at each stage until the loss converged, observing the loss converged before reaching 400 global steps, which signifies the efficiency of our training strategy. Though our training strategy involves 7 different stages, it is noteworthy that, for our 2.8B variant, the overall pre-training can be done in less than two days as optimizing only the output embeddings doesn't incur much computation.
구체적으로, 64개의 CPU 코어를 활용하여 각각 80GB 메모리를 갖춘 8개의 NVIDIA H100 GPU로 모델을 훈련합니다. EEVE-Korean-10.8B-v1.0의 경우 bf16 정밀도에서 길이 4096의 시퀀스, gradient accumulation 단계를 4로 설정하고 micro-batch size를 8로 설정한 반면, EEVE-Korean-2.8B-v1.0은 시퀀스 길이 2048, gradient accumulation 16, micro-batch size 16을 채택합니다. 우리는 AdamW (Loshchilov and Hutter, 2018) optimizer를 사용하며, 10단계의 warmup phase를 포함하는 cosine learning rate scheduler와 함께 사용합니다. 10.8B 변형의 경우 learning rate는 4e-5로 설정하고, 소형 모델의 경우 2e-4를 사용했습니다. 각 단계에서 loss가 수렴할 때까지 훈련을 계속했으며, 전역 단계 400개에 도달하기 전에 loss가 수렴하는 것을 관찰하여 훈련 전략의 효율성을 확인했습니다. 훈련 전략에는 7가지 단계가 포함되지만, 2.8B 변형의 경우 출력 임베딩만 최적화하면 많은 계산이 필요하지 않으므로 전체 사전 훈련을 이틀 이내에 완료할 수 있다는 점에 주목할 필요가 있습니다.
구체적으로, 64개의 CPU 코어를 활용하여 각각 80GB 메모리를 갖춘 8개의 NVIDIA H100 GPU로 모델을 훈련합니다. EEVE-Korean-10.8B-v1.0의 경우 bf16 정밀도에서 길이 4096의 시퀀스, 경사 누적 단계를 4로 설정하고 마이크로 배치 크기를 8로 설정한 반면, EEVE-Korean-2.8B-v1.0은 시퀀스 길이 2048, 경사 누적 16, 마이크로 배치 크기 16을 채택합니다. 10.8B 변형의 경우 학습 속도는 4e-5로 설정하고, 소형 모델의 경우 2e-4를 사용했습니다. 각 단계에서 손실이 수렴할 때까지 훈련을 계속했으며, 전역 단계 400개에 도달하기 전에 손실이 수렴하는 것을 관찰하여 훈련 전략의 효율성을 확인했습니다. 훈련 전략에는 7가지 단계가 포함되지만, 2.8B 변형의 경우 출력 임베딩만 최적화하면 많은 계산이 필요하지 않으므로 전체 사전 훈련을 이틀 이내에 완료할 수 있다는 점에 주목할 필요가 있습니다.