AIのテクノロジー~OpenAIが推進するLLMの巨大化戦略に対抗して、真逆のアプローチである小サイズ言語モデルSLMが登場している。AIのテクノロジーと、その戦略について解説する。知久卓泉(ちくたくみ)眼鏡っ娘キャラでプライバシーは一切明かさない。サルくん軽薄で口が達者だが怜悧な頭脳を持つ大学院生。最近は大規模言語モデルLLMや小規模言語モデルSLMを活用するノウハウがかなり普及をはじめているので、日本企業でもAIアプリケーションが活況を呈しています。本講座では、様々な情報が氾濫している個々のAIアプリは、栄枯盛衰が激しいので言及しません。できる限りAIテクノロジーの潮流を俯瞰的に観察することで、その行方を探りたいと思っています。できるかどうかは分かりませんがサルくん大丈夫。数年後に振り返ってみて、予想が全く違ってましたよ、などと文句言うのはボクしかいないですからチクタク先生それでは、今回はユニークなSLMテクノロジーを紹介します。AIのコア技術は、進化的アルゴリズムや集合知であるモデルマージにありますねサルくんまぁAIxxとかxxAIとかいう英語社名は大量にあるので、欧米人には日本語名のほうが新鮮で目立ちますからねチクタク先生それでは、モデルマージの説明から始めます。モデルマージを端的にいうと、多様な能力を持つ幅広いオープンソースモデルをマージ(融合)して、新たな基盤モデルを構築するための手法です。(註1)とありますサルくんすごいな。モデルマージ」チクタク先生モデルマージの概念は、このイメージ図を参考にしてください。この考え方は以前からあるのですが、どのようにマージすればよいのかが問題でした。今は様々な分野で、数百もの新しいモデルがファインチューニングされて続々と公開されています。これらの異なるモデルを、どれをいくつ選定し、目的に沿う形式でどうやってマージするのかが難問なのですサルくん概念は、この図のようなのかもしれませんが、本当に各モデルをパッチワークのように簡単に切り張りできるのですかねチクタク先生もちろん各モデルはライブラリのように作ったわけではないので、簡単ではありません。大勢の研究者たちがコミュニティを形成して長年研究した結果、モデルマージはまるで錬金術のような驚くべき成果が得られるようになったのです。モデルマージは”集合知”の成果だといっているのです。AIの革新的アプローチ方法を説明します。それは進化的アルゴリズムを利用したことですサルくん進化的アルゴリズムは、だいぶ昔から利用されているので、ボクでも名前ぐらいは知ってます。Algorithm)とは、簡単にいうと生物の進化の仕組みを模した、最適解を探索するためのアルゴリズムです(註)※図表:筆者作成「遺伝的アルゴリズム」チクタク先生この図は、進化的アルゴリズムの中で最も一般的な遺伝的アルゴリズムで、進化をモデルとした確率的発見的手法です。問題に対して変化と選択に基づく世代交代を繰り返すことで解の集団を進化させ、組合せ最適化問題を解決しようとするものです。幅広い問題に適用が可能ですが、シンプルなフローチャートで表現できるので、図で確認してくださいサルくんフローは単純明快ですが、使っている”処理”の意味が不明なので、結局何をやっているプロセスなのか分かりませんチクタク先生まず遺伝的アルゴリズムにおいて”遺伝子”とは、パラメータや解のことです。容量が限定されているナップサックに、最適な荷物を入れる問題があるとします。重さや大きさと価値が分かっている荷物の候補は事前に用意されており、トータルで最も価値の高いものを組み合わせるのが最適化問題です。HPでは、”この進化的アルゴリズムを適用して、様々な基盤モデルの異なる部分の組み合わせを見つけることにより、新しい基盤モデルを作成することができる。AIは主張していますサルくんあ、まだ実績があるのではなく研究中なのですねチクタク先生いいえ、日本語LLMや日本語画像言語モデル、日本語画像生成モデル、日本の美を学んだ浮世絵風画像生成モデルなど、ユニークな多数の基盤モデルを既に公開していますよ。8月に公開した最新モデルには、複数の画像を同時に扱える日本語で応答可能な新しいVLM(視覚言語モデル)があります。AIサイエンティストのモデルは、LLMを使って研究開発プロセスを自動化する革新的なAIシステムまで発表しています。AIの創業は業界的にも”鳴り物入り”だったんですか?チクタク先生そうですね。AIは、設立当初から元Googleの研究者たちのスタートアップとして注目されていました。ユニコーンになっています。日本政府は数少ない有望なAIスタートアップとして、支援していますサルくんユニークで非常に面白いのですが、発表したAIモデルの大半に”日本語“が付いているのが気になりますね。最初から世界と戦えないから仕方がないのかな~チクタク先生そんなことはありません。起業直後から巨額の資金調達をしているので、ある程度成果を出す必要があり、競争相手の少ない日本語版から始めるのは当然です。進化的モデルマージと言語は無関係なので、世界に通じる素晴らしい技術なのです。目標は世界だと思っていますサルくんなるほど。AIが日本で起業したのは、アメリカには有望なスタートアップを芽が出る前に買収したり、FTC規制をかいくぐるために創業者や従業員を引っこ抜いたり(註3)する、巨大IT企業・ビッグテックが跋扈しているのが理由なのかもしれません。これは私の単なる憶測ですが。AIに1億ドルを出資したというニュースが飛び込んできた(註4)ので、今後はどうなるか分かりませんサルくんアメリカには大量のAIスタートアップがいるし、日本にはライバルがほとんどいないので、ブルー・オーシャンに見えるのでしょうねチクタク先生OpenAIのAGIレポートを読んだときは、その圧倒的な資金力的資金力と技術に、AIの進化は物量主義で決まりだと思っていました。何回か前の講義で話しましたが、OpenAIの元社員がリークしたというレポートは、サム・アルトマンがわざとリークさせて自社の技術力や資金力を誇示し、AGIへ突き進むための仕掛けだったのかもしれません。OpenAIは天文学的な資金を集めていますが、具体的なAGIやASIなどの成果はしばらく先のはずですからサルくんでもレポートにAGIは5年以内にできそうだが、もし中国共産党に先を越されると中国に世界征服されてしまうので、政府から国防レベルのセキュリティ援助が必要だ、とも書いてますよ。アメリカ政府は、AGI開発をマンハッタン計画なみの国家プロジェクトにしようと考え始めたんじゃないですかチクタク先生おや、レポートの後半も読んでたのですね。アルトマンにとって、もし政府が資金援助をしてくれるなら安心して経営できますが、徹底した機密管理を強いられることになり、研究者が逃げたり開発方針に自由が無くなるなど、ヤブヘビなのかもしれません。高成長のビッグテックは、2023年以降になるとMATANA(Microsoft、Amazon、Tesla、Alphabet、NVIDIA、Apple)へと勢力図が変わっていますサルくんメタバースでコケたMetaが抜けて、TeslaとNVIDIAが入ったのか。話を戻しますが、とにかくこの注目すべきテクノロジーである進化的モデルマージの登場が、AIが巨大化と寡占化に突き進んでいく流れを、大きく変える転換期になるのではないかと、私は考えています。時間切れなので、今回はここまでとします。次回ですが、AGIへと突き進むLLMとSLMとの関係、AGIの登場が社会に与えるインパクトなどを話す予定ですここまでのポイント・多様な能力を持つ複数のAIモデルをマージ(融合)して、新たなAIモデルを構築する手法をモデルマージという。・進生物の進化の仕組みを模して最適解を探索するアルゴリズムを、進化的アルゴリズムという。AIは、この2つの手法を利用した進化的モデルマージを武器に、続々と高性能なSLMを発表し、日本最速のユニコーンとなった。AIのテクノロジー~https://data.wingarc.com/world-model-and-agi-4-75905著者:谷田部卓AIセミナー講師、著述業、CGイラストレーターなど、主な著書に、MdN社「アフターコロナのITソリューション」「これからのAIビジネス」、日経メディカル「医療AI概論」他、美術展の入賞実績もある。aiメルマガ登録をしていただくと、記事やイベントなどの最新情報をお届けいたします。ビジネストランスレータ。