To optimize the training process, we maintain a constant learning rate of 3e-5, and adopt a strategic approach to gradually increase the batch size from 4M tokens whenever the model's loss plateaued. This incremental adjustment of the batch size, alongside maintaining all other parameters in alignment with the established Yi-6B base model configuration, was instrumental in navigating the challenges of training at scale.
훈련 프로세스를 최적화하기 위해 일정한 Learning Rate인 3e-5를 유지하고, 모델의 Loss가 정체되었을 때 Batch Size를 4M 토큰에서 점진적으로 늘리는 전략적 접근 방식을 채택했습니다. 이러한 Batch Size의 점진적 조정은 다른 모든 매개변수를 기존 Yi-6B 기본 모델 구성과 일치시켜 유지하는 것과 함께 대규모 훈련의 어려움을 헤쳐나가는 데 중요한 역할을 했습니다.
훈련 프로세스를 최적화하기 위해 일정한 학습 속도인 3e-5를 유지하고, 모델의 손실이 정체되었을 때 배치 크기를 4M 토큰에서 점진적으로 늘리는 전략적 접근 방식을 채택했습니다. 이러한 배치 크기의 점진적 조정은 다른 모든 매개변수를 기존 Yi-6B 기본 모델 구성과 일치시켜 유지하는 것과 함께 대규모 훈련의 어려움을 헤쳐나가는 데 중요한 역할을 했습니다.