**Megatron-LM**[222] is a large, powerful transformer developed by the Applied Deep Learning Research team at NVIDIA. It contains efficient, model-parallel (tensor, sequence, and pipeline), and multi-node pre-training of transformer based models such as GPT, BERT, and T5 using mixed precision.
**Megatron-LM**[222]은 NVIDIA의 응용 딥 러닝 연구팀에서 개발한 크고 강력한 Transformer입니다. 이 모델에는 혼합 정밀도를 사용하여 GPT, BERT, T5와 같은 Transformer 기반 모델의 효율적인 모델 병렬(tensor, sequence, 및 pipeline)과 다중 노드 사전 학습이 포함되어 있습니다.
**메가트론-LM**[222]은 NVIDIA의 응용 딥 러닝 연구팀에서 개발한 크고 강력한 트랜스포머입니다. 이 모델에는 혼합 정밀도를 사용하여 GPT, BERT, T5와 같은 트랜스포머 기반 모델의 효율적인 모델 병렬(텐서, 시퀀스 및 파이프라인)과 다중 노드 사전 학습이 포함되어 있습니다.