In order to verify that our codebase could be used on both NVIDIA and AMD GPUs without any loss in performance, we trained models on two different clusters:* **LUMI:** Provided by the LUMI supercomputer,4 we used up to 256 nodes on this cluster, where each node consists of 4x AMD MI250X GPUs with 128GB of memory5 and 800Gbps of interconnect. Footnote 4: [https://www.lumi-supercomputer.eu](https://www.lumi-supercomputer.eu)
* **MosaicML:** Provided by MosaicML.6 (Datalysts), we used 27 nodes on this cluster, where each node consists of 8x NVIDIA A100 GPUs with 40GB of memory and 800Gbps interconnect. Footnote 5: The MI250X is a dual-chip module, meaning in practice that each physical device consists of two logical devices, so each node has 8 logical GPU devices with 64GB of memory each.
코드베이스가 성능 저하 없이 NVIDIA 및 AMD GPU 모두에서 사용될 수 있는지 확인하기 위해 두 개의 서로 다른 클러스터에서 모델을 학습했습니다:* **LUMI:** LUMI 슈퍼컴퓨터에서 제공하는4 이 클러스터에서 최대 256개의 노드를 사용했으며, 각 노드는 128GB 메모리5와 800Gbps의 인터커넥트를 갖춘 4개의 AMD MI250X GPU로 구성됩니다. 각주 4: [https://www.lumi-supercomputer.eu](https://www.lumi-supercomputer.eu)* **MosaicML:** MosaicML에서 제공합니다.6 (Datalysts)에서 제공하는 이 클러스터에서 각 노드는 40GB 메모리와 800Gbps 인터커넥트를 갖춘 8개의 NVIDIA A100 GPU로 구성된 27개의 노드를 사용했습니다. 각주 5: MI250X는 이중 칩 모듈로, 실제로 각 물리적 장치는 두 개의 논리적 장치로 구성되므로 각 노드에는 각각 64GB의 메모리를 가진 8개의 논리적 GPU 장치가 있습니다.
코드베이스가 성능 저하 없이 NVIDIA 및 AMD GPU 모두에서 사용될 수 있는지 확인하기 위해 두 개의 서로 다른 클러스터에서 모델을 학습했습니다:* **LUMI:** LUMI 슈퍼컴퓨터에서 제공하는4 이 클러스터에서 최대 256개의 노드를 사용했으며, 각 노드는 128GB 메모리5와 800Gbps의 인터커넥트를 갖춘 4개의 AMD MI250X GPU로 구성됩니다. 각주 4: [https://www.lumi-supercomputer.eu](https://www.lumi-supercomputer.eu)* **모자이크ML:** 모자이크ML에서 제공합니다.6 (데이터리스트)에서 제공하는 이 클러스터에서 각 노드는 40GB 메모리와 800Gbps 인터커넥트를 갖춘 8개의 NVIDIA A100 GPU로 구성된 27개의 노드를 사용했습니다. 각주 5: MI250X는 이중 칩 모듈로, 실제로 각 물리적 장치는 두 개의 논리적 장치로 구성되므로 각 노드에는 각각 64GB의 메모리를 가진 8개의 논리적 GPU 장치가 있습니다.