**Batch Training.** For language model pre-training, existing work generally sets the batch size to a large number (_e.g.,_ 2,048 examples or 4M tokens) to improve the training stability and throughput. For LLMs such as GPT-3 and PaLM, they have introduced a new strategy that dynamically increases the batch size during training, ultimately reaching a million scale. Specifically, the batch size of GPT-3 is gradually increasing from 32K to 3.2M tokens. Empirical results have demonstrated that the dynamic schedule of batch size can effectively stabilize the training process of LLMs [56].
**Batch Training.** 언어 모델 사전 학습의 경우, 기존 작업에서는 일반적으로 Batch Size를 2,048개 예제 또는 4M 토큰과 같이 많은 수로 설정하여 훈련 안정성과 처리량을 개선합니다. GPT-3 및 PaLM과 같은 LLM의 경우, 훈련 중에 Batch Size를 동적으로 증가시켜 궁극적으로 백만 규모에 도달하는 새로운 전략을 도입했습니다. 구체적으로, GPT-3의 Batch Size는 32K에서 3.2M 토큰으로 점진적으로 증가하고 있습니다. 경험적 결과에 따르면 Batch Size의 동적 일정은 LLM의 훈련 프로세스를 효과적으로 안정화할 수 있는 것으로 나타났습니다[56].
**일괄 학습**. 언어 모델 사전 학습의 경우, 기존 작업에서는 일반적으로 배치 크기를 2,048개 예제 또는 4M 토큰과 같이 많은 수로 설정하여 훈련 안정성과 처리량을 개선합니다. GPT-3 및 PaLM과 같은 LLM의 경우, 훈련 중에 일괄 처리 크기를 동적으로 증가시켜 궁극적으로 백만 규모에 도달하는 새로운 전략을 도입했습니다. 구체적으로, GPT-3의 배치 크기는 32K에서 3.2M 토큰으로 점진적으로 증가하고 있습니다. 경험적 결과에 따르면 일괄 처리 크기의 동적 일정은 LLM의 훈련 프로세스를 효과적으로 안정화할 수 있는 것으로 나타났습니다[56].