**Overall Training Suggestion.** In practice, the above training techniques, especially 3D parallelism, are often jointly used to improve the training throughput and large model loading. For instance, researchers have incorporated 8-way data parallelism, 4-way tensor parallelism, and 12-way pipeline parallelism, enabling the training of BLOOM [78] on 384 A100 GPUs. Currently, open-source libraries like DeepSpeed [74], Colossal-AI [189], and Alpa [340] can well support the three parallel training methods. To reduce the memory redundancy, ZeRO, FSDP, and activation recomputation techniques [77, 341] can be also employed for training LLMs, which have already been integrated into DeepSpeed, PyTorch, and Megatron-LM. In addition, the mixed precision training technique such as BF16 can be also leveraged to improve the training efficiency and reduce GPU memory usage, while it requires necessary support on hardware (_e.g._, A100 GPU). Because training large models is a time-intensive process, it would be useful to forecast the model performance and detect abnormal issues at an early stage. For this purpose, GPT-4 [46] has recently introduced a new mechanism called _predictable scaling_ built on a deep learning stack, enabling the performance prediction of large models with a much smaller model, which might be quite useful for developing LLMs. In practice, one can further leverage the supporting training techniques of mainstream deep learning frameworks.
**전반적인 훈련 제안**. 실제로, 위의 훈련 기법, 특히 3D parallelism이 종종 공동으로 사용되어 훈련 처리량과 대규모 모델 로딩을 개선합니다. 예를 들어, 연구자들은 8-way data parallelism, 4-way tensor parallelism, 12-way pipeline parallelism을 통합하여 384개의 A100 GPU에서 BLOOM [78]을 훈련할 수 있었습니다. 현재 DeepSpeed [74], Colossal-AI [189], Alpa [340]와 같은 오픈 소스 라이브러리는 세 가지 parallel training 방법을 잘 지원합니다. 메모리 중복을 줄이기 위해 ZeRO, FSDP 및 activation recomputation 기술 [77, 341]을 LLM 훈련에도 사용할 수 있으며, 이는 이미 DeepSpeed, PyTorch 및 Megatron-LM에 통합되었습니다. 또한 BF16과 같은 mixed precision training 기술을 활용하여 훈련 효율성을 개선하고 GPU 메모리 사용량을 줄일 수 있지만, 하드웨어(_예: A100 GPU)에서 필요한 지원이 필요합니다. 대규모 모델을 훈련하는 것은 시간이 많이 걸리는 과정이므로 모델 성능을 예측하고 초기 단계에서 비정상적인 문제를 감지하는 것이 유용할 것입니다. 이를 위해 최근 GPT-4 [46]는 딥 러닝 스택을 기반으로 한 'predictable scaling'이라는 새로운 메커니즘을 도입하여 훨씬 작은 모델로 대규모 모델의 성능을 예측할 수 있게 되었으며, 이는 LLM 개발에 매우 유용할 수 있습니다. 실제로 주류 딥러닝 프레임워크의 지원 훈련 기법을 활용할 수 있습니다.
**전반적인 훈련 제안**. 실제로, 위의 훈련 기법, 특히 3D 병렬 처리가 종종 공동으로 사용되어 훈련 처리량과 대규모 모델 로딩을 개선합니다. 예를 들어, 연구자들은 8방향 데이터 병렬 처리, 4방향 텐서 병렬 처리, 12방향 파이프라인 병렬 처리를 통합하여 384개의 A100 GPU에서 BLOOM [78]을 훈련할 수 있었습니다. 현재 DeepSpeed [74], Colossal-AI [189], Alpa [340]와 같은 오픈 소스 라이브러리는 세 가지 병렬 훈련 방법을 잘 지원합니다. 메모리 중복을 줄이기 위해 ZeRO, FSDP 및 활성화 재계산 기술 [77, 341]을 LLM 훈련에도 사용할 수 있으며, 이는 이미 DeepSpeed, PyTorch 및 Megatron-LM에 통합되었습니다. 또한 BF16과 같은 혼합 정밀도 훈련 기술을 활용하여 훈련 효율성을 개선하고 GPU 메모리 사용량을 줄일 수 있지만, 하드웨어(_예: A100 GPU)에서 필요한 지원이 필요합니다. 대규모 모델을 훈련하는 것은 시간이 많이 걸리는 과정이므로 모델 성능을 예측하고 초기 단계에서 비정상적인 문제를 감지하는 것이 유용할 것입니다. 이를 위해 최근 GPT-4 [46]는 딥 러닝 스택을 기반으로 한 '예측 가능한 스케일링'이라는 새로운 메커니즘을 도입하여 훨씬 작은 모델로 대규모 모델의 성능을 예측할 수 있게 되었으며, 이는 LLM 개발에 매우 유용할 수 있습니다. 실제로 주류 딥러닝 프레임워크의 지원 훈련 기법을 활용할 수 있습니다.