新しいパラダイムを作るただ加速するだけでなくおわりにコラム:日本でのCS-1の展開スタート!2019年11月、スパコン(スーパーコンピュータ)のトップカンファレンスであるSC19で、小形のAI専用スパコンがデビューをはたしました。「⁠CS-1」と名付けられたそのマシンは、ウェハースケール、つまり30cmシリコンウェハーを一枚まるごと使った巨大なCPUをもち、その広大な領域に埋め込まれた40万ものコアに、ターゲットのニューラル・ネットワークをそっくり全部マッピングして並列動作させます。Systemsというスタートアップ・カンパニーです。筆者はいくつものスタートアップ、とくにハードウェア・システムを開発する企業を見てきました。Cerebrasについても二年ほど前から何度か訪問して開発状況などを見てきましたが、これほど野心的なスタートアップは滅多にありません。このCerebrasの技術についてはすでに多くの記事が、それも私の尊敬する方々によって出されています[1]⁠。そこで本稿では、その技術ではなく起業の経緯などに焦点を当てた、つまりこのモンスターマシンを生んだ企業のスタートアップストーリーをお届けします。[1]たとえば安藤氏の記事「高速ディープラーニングが可能なWSEをCerebrasはどうやって実現したのか」など。CS-1繰り返しになりますが、控えめに言ってもCS-1はとてつもないモンスターです。本記事はCerebrasの技術についてはあまり書かず、スタートアップストーリーや彼らの大きなビジョンを伝えることが目的なのですが、さりとて何も技術に関する情報がないと各エピソードの重みがわかりません。そこでまずはじめに、簡単にCS-1のおおまかな設計について解説します。以下のCerebrasの各Blogがとても良くできているので、それを適宜引用して説明します。Engineまず第一に、CS-1を特異なものにしているのはもちろんその心臓部、つまり30cm(12inch)ウェハーをまるごと使ったCPU(写真1)です。Engineと呼んでいます。そのサイズは215mm×215mm。ここに専用のプロセッサが40万コア含まれており、全体のトランジスタ数は1.2兆にも達します。プロセスはTSMCの16nmです。ウェハーは円形ですが、写真2に示したように周辺部分を切り落としてこの形にしています。通常のCPUなどでは、ウェハーの中の小さな長方形1つずつのサイズに切り分けて、それぞれが1つのチップの中に収まります。WSEは12×7つまり84チップを合わせて1つにしたようなものです。各チップ内部のコアは写真3のような2次元メッシュ構造のネットワークによって相互接続されています。チップ間も前述の写真2の青い線、つまりチップ間の隙間を乗り越えた配線層を通じてつながれており、結果的にWSE全体で巨大な2次元メッシュネットワークを構成しています。WSEはこの四角に切り落とした左右の側面からデータの入出力が行われます。ところで通常、各チップは切り離して利用されます。そのため、このチップ間の隙間「スクライブ・ライン」上に金属による配線層を形成させることもありません、というかそんなことはできないように半導体の製造工程はできあがっています。これは製造工程そのものに手を入れる、半導体製造企業(今回はTSMC社)側の技術開発を必要とする、結構大変なアプローチです。各プロセッサコアは独自設計、それも「データフロー」と呼ばれるアーキテクチャに基づいたものです。データフローとは、端的には「データが揃ったらそこでの計算が発火し、次の計算処理に対してデータ(結果)を送る」といったアイデアです。ニューラルネットワークのノード群による連鎖的な計算処理と親和性が高いことが想像できるでしょうか。最近、つまりTensorFlowがこれを採用したため若い人たちには新しいものと映るかもしれませんが、1960年代からあるデータ処理モデルです。写真4にコアの概略図があります。メモリが各コア内にあることがわかると思います。DRAMより遥かに高速(1クロックとのこと)に読み書きできるSRAM技術によるもので、WSE全体で18Gバイトもの容量になります。Switchとあるのが、コアを相互接続する二次元メッシュ・ネットワークとの接続部分です。広大な2次元メッシュ上に配置された大量のコアを使って、多層ニューラルネットワークの各層を写真5のように割り付けてデータを次々と流していく、というアーキテクチャなのです。ところで半導体製造にはDefect、つまり回路形成の部分的な失敗が付きものです。通常は1枚のウェハーから多数のチップが切り出されますから、Defectのために不良となったチップは捨てることで対応することが可能です。WSEはウェハー1つで単体の完成品ですから、たった1つの不良でウェハー丸ごと捨てるようなことはできません。結局、彼らは各チップ内に余剰のコアを用意しておき、Defectによって不良となったコアを「迂回する」ための配線をあらかじめ埋め込むことでこの問題に対応しました(写真6⁠)⁠。パッケージングこれだけ大きいと消費電力も大きく、15KWを越えます。写真7にあるように、電流はそのシリコンの表側から大量のピンを経由して供給します。Plateを押し当て、そこに冷却液を流すことで冷やします。これだけ熱が出て、かつサイズが大きいとシリコンとPCB(プリント基板)の熱膨張率の違いなども問題になります。1ではそこで重要な役割を果たす写真7中のConnector部分の材料を開発したとあります。15KWをチップ数で割ると1つ200W以下ですから、大型チップとしてはそんなものかなと思う程度の面積あたりの熱発生量です。低電圧(0.9V⁠)⁠・大電流をこの面積に集中させるのはかなり大変です。2019』を読んでいると、開発では次から次へと現れる各種の新しい課題を、さまざまな技術を組み合わせた総力戦でクリアした印象です。毎日楽しい現場だったろうな!と想像します。どのくらいクレイジーか、を書きたいさてもう良いでしょう!このまったく新しいマシンを生んだCerebras社の、スタートアップストーリーに進みましょう。筆者はこの記事のために2019年12月にCerebras社を訪ねて取材を行いました。筆者がGaryと初めて会ったのは2013年、前職であるSeamicro/AMD時代です。それ以来継続的に会っており、過去にはCerebrasの源流とも言える、彼が手がけたいくつかのアーキテクチャに関する記事を出したりもしています[2]⁠。した経緯もあり、取材は過去の我々の議論を踏まえたうえでの、雑談的な雰囲気で行われました。筆者:今日はCerebrasのことについて、ただしその技術ではなく、スタートアップのストーリーに焦点を当てた取材のために来ました。私は'80年代、'90年代のアーキテクチャ面での数々のイノベーションを見た世代ですが、ここしばらく革命的な挑戦はとても少なくなったと感じています。その中でCerebrasは強烈にクレイジーな挑戦をして、それを成し遂げました。私はCerebrasがどのくらいクレイジーかを書きたいのです(一同笑い⁠)⁠。Andy:クレイジー、という意味では我々は......(Garyに向かって)ほぼトップ(頂点)に近いかな?Gary:まあそうだね!(笑)多くの人たちが「この十年で最もクレイジー」と言ってくれたね。最初のミーティングから資金を得るまでまず、ウェハースケールのアイデア、つまりウェハーのまま、直接ダイどうしを接続するアイデアがどうやって生まれ、現実になったのかを聞きました。HPCSについて2014年に議論したことを覚えています[3]⁠。コンピュータですよね?Gary:そうだね。確かにHPCSもCerebrasをやる動機の一部分だった。筆者:その道のりを聞きたいです。この、ウェハーのままダイ間接続をするアイデアをいつ思いついたのですか?Gary:4年半ほど前、Cerebrasのファウンダー達で集まって、自分たちがそれぞれにやってきた技術について議論したんだ。メモリ、ソフトウェア、エミュレータなど広いレンジで検討した。それで議論が機械学習、ニューラルネットワークのことになったとき、そこに良いチャンスがあることがわかった。[4]⁠、この領域に良くマッチするスキルを持っている、とね。そこで我々はVCに話をし始めたんだ。Alto図書館に集まって製品のコンセプトを作り上げていった。ニューラルネットワーク世界で最大勢力であるnVIDIAとどうやって競争するか、と。I/O技術の、シリコン上での莫大な帯域の確保がこの領域にとてもよく合うと結論を出した。我々が十分なアイデアを得たところでAndrewが加わり、資金調達のためにそれらを1つに集めたスライドを作った。私はAndrewに警告したんだ。これはとてつもなくリスキーだと。年分の毒を撒いてしまうほどの影響がある。我々がVCたちに『我々はウェハースケールのコンピュータを作る』と言ったら、彼らは我々を部屋から追い出すだろうよ⁠”⁠。it!⁠)⁠」と言ったんだ。Partnersの会議室に行き、我々は大きな、つまりnVIDIAよりはるかに大きな帯域を取るためにウェハースケールのデバイスを作ろうとしていること、完成すればそれは業界が眼を見張るようなものになることなどを話した。リスキーだったが、そうして彼らはそのリスクにサインした。シリーズAのために私が作ったスライドでは、そこ(リスク)についてはあまりハイライトされてなかった(強調されてなかった)んだがね。筆者:いくつのVCが集まったのですか?Gary:3つ。NOなの?Gary:私の記憶では、ウェハースケール技術のリスクについてはハイライトしてなかったね。我々はニューラルネットワークのアクセラレータを作る、と言ったんだ。GPUに対して桁違いのパフォーマンスを持った......筆者:(割り込んで)ウェハースケールのコンピュータを作るって言わなかったの?Gary:あまり話さなかったね(皆爆笑⁠)⁠。Andy:補足すると、あのステージではどうやってウェハースケールを作るのか、いくつかのアプローチがあり得てまだ決まってなかったのです。やって作るかはまだ十分には検討されてなかったね(なるほど⁠)⁠。Andy:もう1つ、ここ(シリコン)バレーには、ちょっと特別な投資家がいるのです。大志がある、特別にクレイジーなハードウェアプロジェクトに対して出資するのに、あまり資金の量や、プロジェクトのタイムライン(時間的計画)の説明を厳しく求めず、またリスクなどの完全な理解がなくても問題としない、といった人たちです。私の最後のプロジェクトは宇宙に送り出す衛星を作ることでしたが、これは作るのにとても長い時間がかかるし、リスクも高い。したものにも出資者がいるんです。Lamondはそうした種類の投資家だったね。彼はハードウェアの経験が豊富で、時間と資金が掛かることを理解して、ステップアップしていく間、長期の出資をしてくれた。それから、今は9つほどの(主要な)投資家がいるが、それ以外にも個人投資家が含まれている。シリコンバレーの友達やその家族だったり、それ以外に20人ほどの個人がいるんだよ。筆者:夢を買うって感じでしょうか?Gary:動機はさまざまだね。最初の時期に、それも驚異的な(amazing=あきれるほど、の意もある)プロジェクトに出資してくれる個人だからね。我々のほうから彼らを招いたりして、技術やビジネスのアドバイザーを頼んだりすることもある。彼らに導いてもらいたいからね。CerebrasのWebには有名なVCが名を連ねていますが、その下にそうした個人投資家の名前が並んでいます。McKeown氏がいるのが気になります。筆者:それにしても4年半で出せたとは、かなり速い開発ですね。Gary:我々がやったことにしてみれば驚くべき短かさだね。