Pre-training.Nemotron-4 was trained using 384 DGX H100 nodes; each node contains 8 H100 80GB SXM5 GPUs based on the NVIDIA Hopper architecture (NVIDIA, 2022). Each H100 GPU has a peak throughput of 989 teraFLOP/s when doing 16-bit floating point (bfloat16) arithmetic without sparsity. Within each node, GPUs are connected by NVLink and NVSwitch (nvl); the GPU-to-GPU bandwidth is 900 GB/s (450 GB/s in each direction). Each node has 8 NVIDIA Mellanox 400 Gbps HDR InfiniBand Host Channel Adapters (HCAs) for inter-node communication.
사전 학습. Nemotron-4는 384개의 DGX H100 노드를 사용하여 학습되었으며, 각 노드에는 NVIDIA Hopper 아키텍처(NVIDIA, 2022)를 기반으로 하는 8개의 H100 80GB SXM5 GPU가 포함되어 있습니다. 각 H100 GPU는 희소성이 없는 16-bit floating point (bfloat16) arithmetic을 수행할 때 최대 처리량이 989 teraFLOP/s입니다. 각 노드 내에서 GPU는 NVLink 및 NVSwitch (nvl)로 연결되며, GPU 간 대역폭은 900 GB/s (각 방향 450 GB/s)입니다. 각 노드에는 노드 간 통신을 위한 8개의 NVIDIA Mellanox 400 Gbps HDR InfiniBand Host Channel Adapters (HCAs)가 있습니다.
사전 학습.네모트론-4는 384개의 DGX H100 노드를 사용하여 학습되었으며, 각 노드에는 NVIDIA 호퍼 아키텍처(NVIDIA, 2022)를 기반으로 하는 8개의 H100 80GB SXM5 GPU가 포함되어 있습니다. 각 H100 GPU는 희소성이 없는 16비트 부동 소수점(bfloat16) 연산을 수행할 때 최대 처리량이 989테라FLOP/s입니다. 각 노드 내에서 GPU는 NVLink 및 NVSwitch(nvl)로 연결되며, GPU 간 대역폭은 900GB/s(각 방향 450GB/s)입니다. 각 노드에는 노드 간 통신을 위한 8개의 NVIDIA 멜라녹스 400Gbps HDR 인피니밴드 HCA(호스트 채널 어댑터)가 있습니다.