08:35瑞起、初のUWBゲームパットを先行予約開始。19:21ドワンゴ、ZEN大学設立。【特集】LANケーブルなんて自分で作ればいいじゃない。Proで試してみた要注意。AI」と題した発表会を開催し、同社のAI向け最新半導体製品を発表した。MI300A」という2つの製品を発表した。前者はデータセンターでのAI学習・推論向け、後者はデータセンターでのHPC処理向けと位置付けられている。MI300Xで実現している。GPUと比べてのメリットなどに関して考察していきたい。MI300XとMI300Aの違いから入っていこう。4世代のx86プロセッサコアのダイ(CCD)を3つ搭載している点が、2つの製品の大きな違いとなる。128GB(8H×8スタック)今回さらに明らかにされたのは、XCDやCCDの下に3Dパッケージング技術を利用して実装されているIOD。TSMCのSoICと呼ばれる3Dパッケージング技術を用いて、IODの上にXCDやCCDを実装しているという。Cache)、HBM3のメモリコントローラを備える。x16×4という構成になっている。5.0のミックスモードになっており切り替えて使える。x16×4という構成にしているわけだ。IODとHBM3メモリの接続は、2.5Dのパッケージング技術になるTSMCのCoWoS(コワス)が利用されている。MI300シリーズは2.5D、3Dのいずれのパッケージング技術も、TSMCのパッケージング技術が利用されていることになる。6nm(N6)で製造されていることが明らかにされている。HBM3のメモリベンダーは今回明らかにされなかったが、AMDによれば、どのHBM3の製造ベンダー(具体的にはSamsung、Hynix、Micron)とも同じ距離で調達しているとは説明されており、ロットなどによって異なる可能性が高そうだ(もっともベンダーの違いで性能が変わってくる可能性は低いが......)。MI300Xは192GB、MI300Aは128GBとメモリの容量は違っている。これは、市場のニーズを勘案したためで、技術的な制約ではないとのことだった。HPC市場では、生成AI学習などのようにそこまで大きなメモリのニーズはない、そう判断した結果このスペックになったという説明がされた。H100の弱点を発表会や発表会後の記者説明会の中で巧妙に指摘し、それを詰めかけた関係者に印象付けていたという意味で、非常にうまくプレゼンテーションを行なっていた。GPUの弱点として挙げたのが、メモリ容量、メモリ帯域幅、そしてNVLink/NVSwitchというプロプライエタリかつ高価なスケールアップのインターコネクトだ。メモリ周りに関して、AMDは4つのIODそれぞれにメモリコントローラを搭載することで、最大で8スタックのHBM3をサポートしている。その結果、メモリ帯域は5.3TB/sになっており、同時に高さ方向で12Hとすることで、MI300Xで192GB、8HとすることでMI300Aでは128GBという大容量メモリを実現している。H100(SXM)ではメモリ帯域幅は3.35TB/s、メモリ容量は80GBとなっている。AMDの2製品はどちらの点においても競合を上回っており、大きなパラメータを持つような、LLMなどの大規模モデルの学習時にボトルネックとなる点で差別化ができていることになる。NVIDIAもそのことを認識しており、10月にはH200というHBM3eを搭載したH100のアップデート版を発表し、来年(2024年)発売することを明らかにした。H200(SXM)ではメモリ容量は141GBに、メモリ帯域は4.8TB/sになるものの、それでもメモリ容量、帯域ともにMI300Xが上回っている。仮にMI300XのHBM3e版があれば、AMD側もさらに大容量・広帯域を実現できると考えられるため、アーキテクチャ的に考えると、2.5Dと3Dのチップレットを採用しているMI300Xの優位は揺るがないと言える。H100でGPUを8つにスケールアップするのに利用されているNVLinkおよびNVSwitchというインターコネクトが高コストだということだ。H100において8つGPU間で十分な広帯域を実現するため、H100に搭載されているNVLinkだけでは足りず、NVSwitchという、GPUとは別のスイッチチップを4つ搭載している。これがDGXシリーズの高コスト化につながっていることは容易に想像できる。Fabricだけで896GB/sという十分な帯域幅を確保しており、決して高コストではないことをアピールしている。H100を意味する)と比較して、競争力がある価格、つまりより安価であると強調している。Fabricは戦略パートナー企業にライセンス提供されるというセミ・オープン戦略をとるしかも、今回の発表会において、AMDはもう1つの駄目押しとなる発表をしている。Fabricのライセンスを戦略パートナー企業に対して公開するというもので、プロプライエタリなNVLink/NVSwitchに比べて「セミ・オープン」にすることで、他社の参入を促すものだ。MI300Xというプラットフォームを作ることなどが考えられるだろう。Ethernet」の推進Ethernetこそ答えだとAMDそして、今回AMDはもう1つNVIDIAの強みを削り取る、将来に向けた施策を明らかにしている。Ethernet」の推進だ。H100(OEMメーカーブランドのサーバー)は、NVIDIAが2019年に買収、翌2020年に買収を完了したMellanoxが提供するInfiniBandのコントローラとEthernetの両方を利用して、サーバーとサーバーを接続して1つの巨大なクラスター(イマドキの言い方だとPod)にスケールアウト(サーバー機器同士を接続して1つの巨大なGPUを構築すること)を可能にしている。実はInfiniBandそのものはオープンな規格なのだが、Mellanoxがトップシェアで、特に400Gbpsなどの高速な製品は他社に先駆けて投入しており、それがNVIDIAの強みの1つになっている。Ethernet」という新しいEthernetの規格を推進していくことで対抗する戦略だ。Consortium」で検討されている次世代の高速なEthernetで、HPCやAIのサーバーをスケールアップする時に活用できる仕様を目指し、規格の策定が進んでいる。その他AIやHPCの要求にも応える高性能通信の実現へ。Consortium設立ここにはHPC/AI市場での主要プレーヤーであるNVIDIAは入っていないということは容易に理解できる。Consortiumは、Mellanoxを買収してInfiniBandで強みを持つことになったNVIDIAに対抗する企業の集まりだということは明らかだ。Ethernetへの期待に関して語ってもらったほか、Broadcomの400GbpsのEthernetコントローラを搭載したNICを展示するなどして、スケールアウトでもNVIDIAに対抗していくソリューションを展示した。Ethernetなどを利用することで、巨大なクラスターを構築できることをアピールし、OEMメーカーなどにそうしたシステムの設計を促す狙いがあるものと見られる。OEMメーカーシステムへの採用やCSPからの受注を明らかに。MI300XとMI300A、それぞれを搭載したOEM/ODMメーカーのサーバー機器を展示した。Technologies、Supermicro、GIGABYTEのサーバー機器が展示された。MI300Aに関しては、Supermicro、GIGABYTE、HPEの3社のサーバー機器が展示されていた。SupermicroのMI300X搭載サーバーDellのMI300X搭載サーバーGIGABYTEのMI300X搭載サーバーそして、今回AMDはソフトウェア面でも大きな進化を果たしている。6」を発表したことだ。6では、生成AIで使われるLLM(大規模言語モデル)のようなモデルに最適化されており、ソフトウェアによる最適化も進み、処理によっては大きな性能向上を実現しているという。6は8倍も高速になるという。H100と比較しても推論では上回る性能を発揮する。学習に関しては、H100とほぼ同じ性能を発揮するとAMDは説明している。今回AMDは発表段階から、パブリック・クラウドサービス経由でGPUによる学習を可能にするインスタンスを、2つのCSP(クラウドサービスプロバイダ)経由で提供すると発表している。現在生成AIの開発は、オンプレミスからクラウドへのシフトが起きている段階だ。CSPでは、AI学習の演算装置として、GPUやGoogleのTPU、AWSのTrainiumなどのAIアクセラレータを提供しており、コストとの兼ね合いでどちらも容易に選択できるようになっている。CSPが提供する開発キットから演算ターゲットを指定するだけで利用できるので、開発者はそれをNVIDIAのGPU上で演算しているのか、AIアクセレータ上で演算しているのかをあまり意識する必要はなくなりつつある。GPUなのかはあまり意識する必要がないということだ。Infrastructure)へ採用が決まったことを発表している。MI300Xの採用が決まったことは大きな一歩と言える。MI300シリーズに関して大きな進化を遂げたことを来場者に強く印象付けたと言える。これから市場では実際に流通し始める製品を利用しての評価が始まるだろう。MI300Xは十分検討に値する可能性を秘めている、筆者はそう感じたとしてこの記事のまとめとしたい。Forestは誰も追いつけないTCOを実現」。笠原一輝のユビキタス情報局NVIDIAを迎撃するAMDの策。