AI需要に伴うクラウド事業者(Googleなど)向けが急増している。3データセンター向けGPU市場では、当社以外ではAMDやIntelも市場参入しているものの、NVIDIAが8割以上のシェアを有するとされる。Review」より筆者作成4その他、財務諸表の長期推移からは、当期利益率が2016年ごろから上昇傾向にあり、直近2023年では50%近い数値となっていること、積極的に研究開発に投資し、過去23年間の対売上高比率が20%を超え、売上減少時も傾向として投資額を増やしていることが見て取れる。これらから、GPUの設計に特化した長期間にわたる継続かつ積極的な研究開発が、急成長するデータセンター向けGPU市場における独占的な地位、引いては高い収益性を生んだのではないかと推測される。NVIDIA製品開発の歴史1993年に創業したNVIDIAは、1999年に“世界初”となるGPU「GeForce256」を開発するなど、設立当初はコンピューターグラフィックス処理用の製品を開発。その後、2003年ごろから非グラフィック分野への適用に向けた研究を開始。2006年に初めて、汎用計算用途にも使えるGPGPU製品「G80(Teslaアーキテクチャー)」を発表した。unit)とは、コンピューター画面に図形や画像を描く処理をグラフィックス処理以外の様々な汎用計算用途(シミュレーション、科学計算など)に使うこと。GPGPUとして利用する場合、これまでCPUが行っていた機能の一部(演算部分)をGPUに置き換えることで、計算の種類次第だが数倍から数百倍の速さで処理ができる可能性がある。GPUは演算に特化しておりファイルの書き込みなどすらできないため、単独では使えない。当時GPGPUの利用にあたってはグラフィックス中心かつ並列の複雑なプログラミングやハードウェアの構造への理解などが必要であったため、NVIDIAは、GPUを用いた並列コンピューティングのための統合開発環境CUDAを2006年に発表(2007年に一般公開)。CUDAによってC言語などでのプログラミングが可能となるなど、開発者がGPUを利用しやすくなり、GPGPUの普及が進んだ。NVIDIAのGPU開発年表(出典)NVIDIAウェブサイトやNVIDIAに関する各種ウェブサイトより筆者作成1NVIDIAは2006年以降、1年から2年周期程度で新たなアーキテクチャー(製品の設計構造)を発表。コア数の増大、メモリ容量拡充、ダイサイズの大型化などハードウェアの改良に加えて、コアの構造見直しやコア間の通信技術発展、メモリアクセスの仕組み見直しなども行ってきた。その結果、他社を圧倒する高い演算能力を持つ製品を継続的に市場に投入している。22016年のPascalからは、NVLinkが初めて使われている。これは、NVIDIAがIBMと共同で開発したGPU間のインターコネクト技術で複数のGPU間を高い帯域幅で直接接続可能。これによって、GPUとCPU間のデータ転送速度が5倍以上になった他、複数のGPUを同期し、一つの大きなチームとして動作させることができる。32017年のVoltaからは、Tensorコアが初めて使われている。開発した深層学習に特化した混合精度行列演算ユニット。FP16で入力した演算でFP32に近い計算結果が得られるため、計算量を増やさず高いスループットを実現できる。これは、大規模な行列計算が頻繁に行われる深層学習において、学習や推論時間短縮に大きく寄与する。第4世代のTensorコア、HBM3(最新メモリ)などが使われ、性能は著しく向上している。2006年のTeslaアーキテクチャーとの比較では、トランジスタ数・コア数は100倍以上、メモリの容量拡大や複数構造による工夫(頻繁にアクセスするデータをコアに近いメモリに事前に格納するような仕組み)、NVLinkのようなGPU間通信(複数GPU間も含む)技術利用など、大きく変化が見られ、性能が数百倍以上になっている。NVIDIAの強みNVIDIAは、収益性が非常に高く売上総利益率は2024/1期では73%に達する。販売価格は公開されていないものの上昇傾向にあり、最新のHopperアーキテクチャーで作られたデータセンター向け製品「H200」は約3万ドルといわれる。圧倒的な市場シェアと高い売り上げ成長率を考慮すれば、同社のGPUは「高くても性能を求めて買われている」状態にあると言える。その同社の強固な競争優位性の源泉となる強みとは何か。設計技術や製品開発による進化などに着目して、以下の4点に分類した。以下、各項目について解説したい。DRAMメモリの1種。全SMからアクセス可能な大容量のグローバルメモリとして使われる。ARCHITECTURE」(2008年)NVIDIAは、グラフィックス処理用として使われていたGPUの汎用計算用途での可能性にいち早く気づき、汎用計算向けのアーキテクチャーを開発。2006年のTeslaアーキテクチャーでは、グラフィックス処理用途の機構(3D画像の頂点処理などを行うための機構)も残っているが、続く2010年発表のFermi以降は汎用計算に特化した設計になっている。演算ユニットに多くの面積を割き、CUDAコアと呼ばれる並列処理可能な演算ユニットを数百数千(先端モデルは数万)個と持つ。全てが独立して動くとプログラミング複雑化やリソース配分効率化、メモリアクセスによる遅延などの問題もあり、SMで複数のコアが協調して計算を行う仕組みを持つ。各SMがメモリやスケジュール管理機能を持つことで、計算リソースを効率的に利用している。CUDAコアは、浮動小数点演算を高速に処理できるように設計されており、AIの深層学習などに代表される、積和演算などの比較的単純な演算を高速で処理できる。メモリ構造も特徴的で、レジスタやキャッシュ、シェアードメモリなどの複数のメモリをチップ内部に抱える。それによって、外部のグローバルメモリへのアクセス集中やデータ移転による遅延を防ぎ、高速な演算を支えている。GPUの性能を引き出すCUDAプログラミングGPUはコア数の多さや多層のメモリ構造など構造が複雑なため、性能を引き出すためには適切なソフトウェアが必要となる。加えて、元々はグラフィック処理用に開発されたため、三次元の座標処理などを行うための専門言語が使われていた。そこで、NVIDIAは2006年に、並列コンピューティングのための統合開発環境CUDAを発表。NVIDIAでは、ソフトウェアエンジニアの数がハードウエアエンジニアよりも多いと言われるほど、ソフトウェア開発を重視している。CUDAは他社と知見を共有せず独自に開発され、CUDAは自社製品のみでしか使えないものの、一般的なC言語などをベースに、簡単なアプリケーションで汎用計算に利用可能。その結果、多くの研究機関やエンジニアに利用されるようになり、GPGPUプログラミングの標準としての地位を確立した。その後も、深層学習用のcuDNN、線形代数用のcuBLASなどのライブラリー開発に多額の投資を行い、さまざまな領域での自社製品の性能向上をサポート。2012年以降、深層学習が使われ始めたころには、AI研究者などにも用いられるようになった。実際の機械学習の学習・推論などには、Tensorflow(Google)やPythorh(Meta)などのオープンソースのフレームワーク(深層学習用のより具体的な学習・検証などを行うソフトウェア。ライブラリーが内部で使われている。2016年には、競合のAMDがCUDAのような自社GPUでの開発環境ROCmを公開。NVIDIAによる独占状況を危惧してか、GoogleなどがAMDのROCmをサポートする動きも見られる。NVIDIAによる更なるライブラリー拡充、GoogleやMetaなどの研究者との連携、他ソフトウェアへのコード移植の難しさなどから、NVIDIAによる優位性は簡単には揺るがないと思われる。NVIDIA製GPUの機能解説(出典)GPUに関する各社ウェブサイトから筆者作成NVIDIAは、2006年のTeslaアーキテクチャーとCUDA発表以降も、短期間で新たな技術などを用いた製品を逐次市場へ投入。常に市場のリーダーとしての地位を維持してきた。その中で、競争優位につながったと思われる特徴的な技術などを紹介する。Tensorコアの行列演算例(4×4の融合積和演算)(出典)NVIDIAウェブサイトより筆者作成NVIDIAが開発した深層学習に特化した混合精度行列演算ユニット。深層学習での演算においては、相対的な変化が重要で精度の高さは優先度が低い点に着目。主流だったFP32より劣るFP16を用いた、計算量を増やさず高いスループットを実現できる仕組みを開発した。これは、大規模な行列計算が頻繁に行われる深層学習において、学習や推論時間短縮に大きく寄与する。原理としては、FP32の行列が三つあった場合、行列積をFP16、和をFP32で実行。負荷のかかる積をFP16で行うため行列積は低精度であるため計算負荷が小さく、和は高精度なため追加の誤差が生じない。専用回路(Tensorコア)で実行するため、一つの命令で多くの演算を処理できる。15倍の演算速度となる。アーキテクチャー別に進化を遂げており、Hopperアーキテクチャーでは、第4世代が使われている。第4世代では、FP8コアを追加。それ以前のFP16の積和演算と比べ、精度は落ちるものの2倍の演算速度となっている。2NVLinkNVIDIAがIBMと共同で開発したGPU間のインターコネクト技術で、ポイント・ツー・ポイント(中継ポイントなどを経由しない)で、デバイス間の専用リンクを使用。複数のGPU間を高い帯域幅で直接接続可能。これによって、それ以前と比べGPUとCPU間のデータ転送速度が5倍以上になったほか、複数のGPUを同期し一つの大きなチームとして動作させることができるようになった。NVLinkもアーキテクチャー別に進化しており、Hopperアーキテクチャーでは第4世代が使われる。18個使われ、最大合計900GB/秒を実現している。他社との協業などによる開発スピードの速さGPUの製品開発を取り巻く環境として、生産面では微細化進展による設計複雑化や製造技術の高度化などが挙げられる。需要面では、文章作成などの生成AIや自動運転など膨大な演算を必要とするサービスの需要拡大などが挙げられる。そのような環境下では、「市場の期待に沿う高性能な製品をいかに早く開発できるか」が重要になる。GPUでも、1年単位で新製品が発売されるなど、開発から製品化までが非常に短サイクル化している。数百億個ものトランジスタ数から成る設計を手作業で行うのは膨大な時間を要するため、EDAと呼ばれる設計支援ソフトウェアの利用は必須。その他、GPUの性能向上に伴い消費電力が増大しており、HopperアーキテクチャーのH100では1台で最大700Wもの電力を消費。演算性能あたりの電力効率は向上しているものの、GPU1台あたりの絶対量は増加傾向にある。熱量コントロールや消費電力削減が求められており、熱解析などでEDAのノウハウ活用は必要。高度な技術を扱うためファウンドリなどとの擦り合わせも非常に重要となってくる。EDA市場は、チップレット技術(製造時の歩留まり改善のために、小さなチップを複数まとめて一つのパッケージに収める技術)や更なる微細化など、設計複雑化や技術高度化などを背景にプレーヤーの大型化が進んでいる。現状EDA市場は積極的なM&Aにより、大手2社への集約化が進んでいる。よるAnsys買収、CadenceによるNUMECA買収などから、熱解析などの分野が重要視されていることがわかる。大手EDAベンダー2社による主要買収事例(出典)Synopsys、Cadenceウェブサイトを基に筆者作成NVIDIAは、ファウンドリであるTSMC、EDAベンダーのSynopsysやCadenceなど外部プレーヤーと積極的に協業。開発段階から関与することで最先端のノウハウを活用。加えてNVIDIAは、EDAベンダーやファウンドリへ自社のGPUやAIノウハウなどを提供。膨大な変数を変化させながら最適な組み合わせを見つける設計工程では、AI活用などで作業時間を短縮。膨大な演算が必要になる露光工程では、露光条件の微調整に自社開発のアルゴリズムなどを活用。このように、自社にない技術は積極的に外部と協業することで、開発スピード向上につなげている。その他、NVIDIAの組織は非常にフラットに作られており、社内の情報共有と意思決定を早くする工夫がされている。CEOは内部の情報共有をいかに早くするかを重要視。組織構造では、3から4層の管理職層を排して、CEOの直属の部下は50人前後にも上るという。社内のどの役職でも情報や会議へアクセス可能となっているもようだ。このような組織構造や経営者の思想などが開発スピードにも影響を与えたと考えられる。まとめ(1)2010年代以降、AI技術が急速に発展している。AI自身が膨大なデータを学習することでルールやパターンを自ら探し出す機械学習が、データ流通量増大や半導体性能向上に伴い実用化。様々な分野で使われており、2022年に公開されたChatGPTに代表される生成AIなどの利用も急速に広がっている。今後についても、瞬時にカメラやセンサーなどから取得したデータを基に瞬時に判断を下す自動運転(自動車産業)や、手術時に瞬時に適切な処置を提案(最終的には実行)するようなロボットやシステム(医療産業)、軍事用の無人機操縦(軍需産業)など、幅広い分野で、膨大な演算量を高速に処理する高度なAI技術の活用が予想される。(2)AI技術で重要な機械学習には高性能な半導体は不可欠。深層学習では、一つひとつの演算は単純だが膨大な演算量が必要となる。深層学習には、複雑な処理は苦手だが並列処理に強みを持つGPUが使われている。AI市場は今後も急速に成長のため、AIに使われるGPU市場は今後も年率3割を超える高い成長が見込まれる。(3)GPU市場で優位性を持つ企業がNVIDIA。2010年代に入ってからはAIの研究などにも注力し、現在はAI半導体の標準としての地位を築いた。AIなどで使われる先端GPU市場では8割以上のシェアを持つ。(4)NVIDIAの強みは、大きく次の4点に分けられると考える。1高速演算を実現するGPUの優れたアーキテクチャー2GPUの性能を引き出すCUDAプログラミング3GPUの性能を向上させ続ける継続的な進化4他社との協業等による開発スピードの速さ。優れたハードウェアだけでなく、研究者やエンジニアなど利用者にとって使い勝手の良いソフトウェア開発環境を提供したこと、そのハードウェアやソフトウェアの性能を速いスピードで持続的に向上させ続けていることで、高い市場シェアと高収益を実現したと考えられる。(5)なお、NVIDIAの成長と裏腹に日本の半導体産業は凋落(ちょうらく)を続けている。現在の日本の保有技術を「設計・製造」「ロジック・メモリ・その他」で分類した場合、特にロジックに課題を持つ。設計技術において、積層を重ねていくメモリと比べた場合、ロジックは設計の自由度が高くより複雑な回路設計などが必要。日本が先端ロジックの設計技術を持たない要因は様々あるが、微細化など技術が高度化し、外部のEDAツール活用の重要性が増していた中、日本は自前のツール開発などに拘ったことで遅れを取ったことはその一因。現在、日本はラピダスに代表されるように、国を挙げて半導体産業復興を図っているが、NVIDIAやTSMCなどトップ企業が20年以上の年月をかけて培った技術に追いつくのは容易ではない。日本がNVIDIAのような最先端の設計技術を持てるようにするためには、「過去の成功体験を忘れ、トップ企業から人材を招へいするなどして学び、まずは優れた技術を模倣(もほう)すること」「ソフトウェアへの理解と投資」などが必要と考える。(required)ウェブサイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。Reserved当サイトは利便性向上などのためcookieを使用しております。