最後の段階に到達するまでに、とても多くの技術について取り組んだね。fast)ですよ!Gary:ああ。出資者にはそう速くは見えなかったろうなと思うよ。(⁠ははは⁠)⁠ウェハースケールを実現するためのダイ間接続、つまりウェハー上でスクライブライン(ダイとダイの間の、通常ならそこで切断する領域)を越えるメタル層を作る作業が必要ですが、これはTSMCが行っています。GaryによればTSMCが初めてスクライブラインを越えた時の試作品の断面を電子顕微鏡で見たが、その段階でほとんどパーフェクトだったとのことです。GaryはこのTSMCの作業だけでなく、他の多くのパートもまた時間を要し、それらを組み上げて製品まで辿り着いたことを強調しました。これからはより優れたソフトウェアを積み上げていくことに多くの時間が必要になります。現時点で既にCS-1はTensorFlowやPyTorchなどに対応していますが、これからソフトウェアの厚みが増すと、それだけCS-1は強くなります。「来年(2020年)はソフトウェアの年ですね」と聞くと、「⁠もうソフトウェア・エンジニアが大部分になっている」とのことです。全体で200人を越えたそうで、筆者が見ていた2年の間にしてもすごく速く成長していると思います。非常にアツい思いが伝わってきました新しいパラダイムを作る筆者:何年も掛けたCS-1の開発において、どこが一番おもしろいところでしたか?Gary:これはグランドビジョン、つまりまったく新しいコンピュータシステムのパラダイムを作るものだった。私は30年間、トラディショナルなプロセッサ設計の仕事をしてきた。君が指摘したとおり、プロセッサアーキテクチャはもうおもしろくなくなってしまったんだ。私が新しいアーキテクチャの絵を描いて、そこで2%の性能改善があれば、それが大きな価値なんだ。Cerebrasでは、10倍、100倍、1,000倍速くなるもののために働ける。新しい仕事・データで、新しいアイデアを試すことができる。古いアイデアを新しい目的のために使う。これ(CS-1)は「大きく、新しいアイデアを試す」ことが自由にできる場所(sandbox)なんだ。古いアイデアを新しくやり直す、というとGoogleがTPUで用いたシストリックアレイ構造もまた、'80年代の技術でした。Cerebrasも同様に2次元メッシュネットワークで大量のコアを相互接続していますが、シストリックアレイではなくデータフローのシステムです。シストリックアレイではデータは同期的にコア間を受け渡されますが、Cerebrasは非同期のメッセージングで結ばれています。データフローもまた、'70年代によく研究されたアイデアです。Cerebrasオフィスエントランス脇にはWSEをかたどったデコレーションがGary:我々はここ何十年かの間に蓄積された、たくさんの技術的なアイデアを使ってるんだ。これをニューラルネットワークの仕事(ワークロード)に使う機会がひょっこり現れたわけだ。これまでマッシブな(並列度と処理量が極めて高い)データフロー処理はどうしても実現できなかった。Dennis[5]は何十年もMITで研究に取り組んだが、それでもデータフローマシンが使える領域はかなり限られていた。我々はオリジナルのコンセプトをそのまま、しかし40万プロセッサエレメント(PE)でやってみたわけだ。筆者:過去の研究などではPEが少なすぎて、常にキューが溢れている(演算器が足りない)というのが結論だったと思います。Gary:(そもそも)通常のシーケンシャルなプログラムをデータフローでやるのはほとんど不可能だ。素晴らしいことに、我々のようなAI応用では、そもそもシーケンシャルなプログラムがないんだ。ニューラルネットワークは本来マッシブ・パラレルだから、プログラマがマッシブ・パラレルのプログラムやアルゴリズムを簡単に作れるようになる。筆者:シストリックアレイ(TPU⁠)⁠、そしてデータフロー、ニューラルネットワーク。どれも私が80年代に良く見たものでした。これらがいま一つのところ、それもマッシブ・パラレルなところに集まっていて、それがとても興味深いです。30年かかったんだね!'80年代、第5世代コンピュータのころなど、Prologなどプログラミング言語はマッシブ・パラレルなプログラミングをするよう働きかけたが、しかしどれも結実することはなかった。人々は並列度の高いプログラムをうまく作る方法を突き止めることができなかった。ニューラルネットワークはそれをほとんどタダで我々にくれたんだ。Alto図書館での議論で)捜したんだがね。ストーム」を得た[6]わけだ。「適切なワークロード、適切なアーキテクチャ、適切なテクノロジ」だね。[5]ともにデータフロー分野におけるMITの著名な研究者。加速するだけでなく最後に話したのは、この広大なスペース、つまり大量のコンピューティング資源を何にどう使うか、ということです。CS-1はディープラーニングのための大規模ニューラルネットワーク処理を高速化するために設計されたものですが、しかしこのようなアーキテクチャのシステムは今までに存在しなかったのです。「既に存在している何かを加速する」だけでなく、「⁠新しい何かを実現する」使い方もあり得るのでは無いかと考えるわけです。筆者:顧客はこの大きなスペースをどう使うかを学ばないといけないのではないですかね。Andy:我々はCS-1を(今存在するニューラルネットワークの仕事に)すぐに使えるようにするためにTensorFlowなど従来的なソフトウェアがそのまま移植できるようにしました。新しいシステムですが、今までのプログラミングシステムがそのまま使えます。一方で、我々はこのシステムを今あるものを加速するためだけに作ったわけではありません。ニューラルネットワークの世界全体(Universe)を考えた時、我々はまだそのほんの一部しか発見(discover)していないのです。この世界の残りの領域にあるアプリケーションを顧客が見つけ出していくのには時間が掛かるでしょう。我々は、我々がこれから見るもの、彼らがこのマシンでこれから作るものについてとてもワクワクしています。Gary:我々はすでに、CS-1にうまくマップできるものでニューラルネットワークではない特定のワークロードを見つけてるよ。筆者:今のディープラーニングの盛り上がりは、Googleなどが大規模なコンピューティング資源を持っていたから出てきたアプローチでした。大きなリソースを持ったら、また違うアプローチが出て来る可能性があるのだと思います。このCS-1は、そうした新しいリサーチワークの出発点となる、新しいプラットフォームになるかもしれません。Andy、Gary:イエス。Andy:すでに研究所や大学など、いくつかのユーザの手元にCS-1が投入されています。我々は新しい発見のすぐ隣にいます。日本のマーケットからの特定分野の要求も強くあります。産業界からも、大学からも。筆者:あなた方の名前が「Cerebras前、Cerebras後」と呼ばれるような、マイルストーンとなることを望んでいます(笑⁠)⁠。1階のラボで稼働していたCS-1の実機おわりに取材は1時間半ほどでしたが、そこで筆者は典型的なシリコバレーのスタートアップの物語を聞くことができました。地域の図書館にシード(種)となる技術を持っている旧知のエンジニアたちが集まり、突っ込むべき場面を定め、資金を募る。そこに集まっていたのは「何にせよ初めて」な若者ではなく既に多くの実績を積み上げた歴戦のチームです。辿り着いたのは、そのチームなら必然ともいうべき壮大なアイデアでした。ニューラル・ネットワークの各プレーンを、シリコンウェハー全面を使った40万コア上に配置して全コアをデータフローで並列処理させる。言えば簡単に聞こえるかもしれませんが、レイヤの異なる多様な要素技術を組み上げて結合するのは容易なことではありません。Ethernetを通したTCP/IPコネクションで行いますが、これをよどみなく40万コアに流し込み続けるのは大変なことです。彼らの解決策はネットワークインターフェースをFPGAで直接構築し、TCP/IP処理をその中で終端して、直接ウェハーのエッジにデータを届ける、というアプローチです。これだけで1つのスタートアップができてしまいそうですね!そうした数多くの挑戦を積み上げて、最初の議論からわずか4年半で製品として世の中に出したことには驚嘆します。最初に握り締めたピュアな、しかし無謀とも言えるアイデアにひるまず、信じてやり抜いたCerebrasのチームに拍手を贈ります。コンピューティング、シストリックアレイ(GoogleのTPU⁠)⁠、そしてデータフローなど、自分自身が'80年代に多く見た当時の「新しい」コンピューティングモデルがいま結実しつつあることにある種の感慨を覚えます。Garyの言う「30年経って、皆が1つのところに辿り着いたんだ」とは、実に正しい説明だと感じます。ストレートな議論から生まれた壮大なアイデアと、レイヤの異なる技術を集めた総力戦の物語。短い時間で多くのことに思考を巡らせた、楽しい取材となりました。別れ際、Garyにもし次に何かやるならどんなもの?と聞いたら「もっとクレイジー(crazier)なのがいいね!」と答えてくれました。世界はエンジニアが回しているんだ、という誇りを感じる笑顔でした。コラム:日本でのCS-1の展開スタート!筆者が取材を行ったすぐあと、2019年の12月19日に東京エレクトロンデバイス株式会社がCerebras社の販売代理店となり、CS-1の受注を開始したことが発表されました。販売するだけでなく、提案・導入サポートも含めて行うとのことです。高い製品ですから導入相談やサポートが重要なのは間違いありません。記者発表に合わせてGaryとAndyの2人も来日し、発表時の写真を見るとAndyが製品説明を行ったようですね。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します⁠。個別にライセンスが設定されている記事等はそのライセンスに従います。