readCPUからGPU、そしてXPUへ今回は「CPUからGPU、そしてXPUへ」というテーマでブログを書いていきたいと思います。Unitの略で、PUの前にXとつけたのは、近年はCPUやGPUに加えて、NPU・TPU・LPUといった新たなチップが次々と登場しており、それらをカバーする意図を込めました。Unit)が搭載されており、さまざまな演算処理の中核を担っています。Unit)の方が向いていると言われています。近年のAI"ブーム"を受けて、最大手のGPUメーカーであるNvidiaの株価はここ数年で急激に高騰しています。CPUとGPUの主な違いは、チップの設計と処理能力にあります。CPUは少数タスクの高速処理に特化している一方で、GPUは並列処理に特化しています。GPUはもともとグラフィックス処理を目的として設計されましたが、その高度な並列処理能力がAIや機械学習の分野で大量のデータを同時に処理するのに適しているため、AI開発の現場ではGPUの方が多く利用されるようになりました。LLMの学習にはたくさんのデータを用いた複雑な行列演算が伴います。この演算プロセスにおいて、計算資源が大量に必要となるため、より多くのデータを同時に処理することができる大きなメモリを持つGPUが求められます。NvidiaのH100やA100のような高価なGPUは、この要求を満たすために設計されており、特に大規模なAIモデルのトレーニングに必要な高度な計算能力と巨大なメモリ容量を有しています。これらのGPUはLLMのようなAIモデルの開発に不可欠なコンポーネントとなっています。いった背景もあり、ビッグテックはNvidiaのH100というGPUを買い占める動きを見せています。Vergeが作成したチャートです。クラウドコンピューティングサービス「Azure」を提供するMicrosoftと「Facebook」や「Instagram」を展開するMetaがそれぞれ15万基(約2千億円もの発注額)ずつH100を発注しています。Services)を大きく上回る数字です。Vergeに報じられています。Metaは祖業であるFacebookに加え、Instagram・Oculus(VR)・WhatsApp等、さまざまなサービスを提供しており、それらの製品群とLLMのシナジーが期待されます。Character)が存在し、まるで人と会話するかのような体験を提供できるかもしれません。https://game.capcom.com/manual/MHX/ja/page-142.html)MetaはOpenAIのGPTやGoogleのGemini(ジェミニ)に並ぶLLMとして、Llama(ラマ)も提供しています。Llamaは現在(厳密には違うという議論もありますが)OSSとして提供されており研究でファインチューニングのベースモデルとして使用されることの多いLlamaですが、今後は大量のGPUを用いてクラウドサービスとして提供されることも考えられます。Acceleratorと呼ばれることもある、ニューラルネットワークの処理に特化した処理装置です。後述するTPUと同じく、GPUから更に機械学習に最適化された機構を持ちます。(今回は、NPUとそれに似た機構を総称としてNPUと呼ぶこととします。後述のTPUがNPUの一部に分類されることもあります。https://pc.watch.impress.co.jp/img/pcw/docs/1087/013/html/1_o.jpg.html)NPUが話題になるよりも前の2016年ごろから、AppleのMacbook、iPhone、SamsungのGalaxyなどのチップセットにはNPUが搭載されており、NPUが搭載された製品は市場に多く見られるようになりました。MLから専用APIにアクセスすることで、デバイスに搭載されたNPUを動かすことができ、例えばカメラの背景ぼかしやSiriなどのAIアシスタントはこれによってスムーズに動作するようになっています。Unit)は、Googleが開発した機械学習に特化したASIC(特定用途向け集積回路)の一種です。TPUは前述したNPUの一種であり、GPUをよりAIに特化させたようなものです。GPUは元々グラフィック処理のために設計されたプロセッサですが、その並列構造は、機械学習でよく見られる大量のデータブロックを処理する用途にも向いているため、機械学習の現場でも使用されることが多くあります。GPUの機構を更に機械学習の計算に特化させたのが、Googleが開発するTPUです。GPUは1次元(ベクトル)や2次元(行列)の配列計算に強みがある一方で、TPUはベクトルや行列より高次元の配列を計算することに重きを置いています。ちなみに、tensor(テンソル)はベクトルや行列を含む概念で、1次元テンソルがベクトル、2次元テンソルが行列となります。テンソルという時には、3次元以上の高次元配列を指すことが多いようです。Platformで提供されています。GoogleのLLMであるGeminiもTPUを用いて学習されました。LLMとASICを同時に研究開発するアプローチは、その両輪が噛み合うことで加速度的なパフォーマンス向上が見込まれます。GroqとLPUGoogleのようにLLMとASICを同時に研究開発する、Groqというスタートアップ企業が注目を集めています。Ross氏は、2013年からGoogleでTPUの開発に従事し、チップ設計と実装に携っていたエンジニアです。Processor)と呼ばれる製品を開発していました。TSPは、米国の金融系企業や自動運転関連の企業をはじめ、ホワイトハウスなどの国家機関への提供もされた実績があるそうです。現在話題となっているLPUは、同社のTSPに組み込まれた自然言語処理に特化した処理機構で、言語翻訳や音声認識といったAIアシスタントのタスクに最適化されています。Groqのハードウェア設計は非常にシンプルです。ひと目見てわかる通り、従来のGPUとは全く異なる設計がなされています。(https://groq.com)にはチャット機能が搭載されており、すぐにでも使用することができます。Groqを利用すると、生成速度の速さにびっくりします。70B-4kモデルを実際に使用すると、秒間284.31トークンで生成されました。これは体感的には「一瞬」です。https://groq.com)将来的に同社のハードウェアとLLMがAWSやAzureにも提供されれば、現在の生成速度に関する不満の多くは解消されるでしょう。Network」の略で、Webコンテンツを迅速に、効率よくユーザーに配信するためのネットワーク)プロバイダーのエッジで稼働するようになれば、更にレイテンシーが短縮され、信じられないほどの生成速度になることが考えられます。した周辺技術の革新から生まれる新たなUXが、アプリケーションの裾野をさらに広げていくと思います。Ventures(イダテンベンチャーズ)についてフィジカル世界とデジタル世界の融合が進む昨今、フィジカル世界を実現させている「ものづくり」あるいは「ものはこび」の進化・変革・サステナビリティを支える技術やサービスに特化したスタートアップ投資を展開しているVCファンドです。お問い合わせは、こちらからお願いします。登録をいただければ幸いです。