目的:長期主義的なAIガバナンスで何が起こっているのか、基本的な概要を説明する。対象者:長期主義的なAIガバナンスにあまり馴染みがなく、より理解を深めたい人。この分野に精通している人の参考にはならないかと思う。追記:すでにこの分野にかなり精通している人の中にも、これが役に立ったと言う人もいる。この投稿では、長期主義的なAIガバナンスで起きているさまざまな種類の活動の概要を説明する。それぞれの種類の活動について、それを説明し、例を挙げ、それがどのようにポジティブなインパクトを与えることができるかについていくつかのストーリーを描き、私が知っている現在その仕事に取り組んでいるアクターをリストアップする。[1]まず、いくつかの定義について。プロセス、政治、制度(政府だけではありません)を作り上げていくことを意味する。[2]特に長期主義的なAIガバナンスは、AIの超長期的な影響への懸念に動機づけされたこの活動のサブセットである。これは、変革的AIをガバナンスすることを目的とした活動と大きく重なる。注目すべきは、長期的視点に立ったAIガバナンスの分野は非常に小さいということだ。超長期的なインパクトへの懸念に立脚しているAIガバナンスの研究者は、60人程度と推測される。現在行われている研究は、大まかに言えば基礎的な研究と応用的研究の間の連続した分布のどこかに分類できると考えるのがわかりやすい。基礎的な研究としては、長期主義的なAIガバナンスのための優れた高位の目標を定めることを目的とした戦略研究やその高位の目標を達成するための計画を定めることを目的とした戦術研究といったものがある。応用面では、このような研究を具体的な政策に落とし込む政策策定、政策の実施を提言する活動、そして実際に(公務員などによって)政策を実施する活動がある。フィールドビルディングといった仕事もある。(この仕事は先ほどの分布の中の明確な分類には当てはまらない。)この仕事は、問題に直接貢献するのではなく、その問題に対して価値ある仕事をしている人たちのためのフィールドを構築することを目的としている。この分類は単純化したものであり、すべての研究がここで紹介した1つのカテゴリーにきちんと収まるわけではない。一般的には、研究の知見が基礎的な研究から応用的な研究へと順番に影響していくと思うかもしれないが、実際はそれぞれの研究が現実的な政策的としての関心ごと(例:その研究自体が、政治的に実現可能な政策提言につながる可能性がどの程度あるのか)に配慮していることも重要なので、一概にそうとは言えない。AI戦略研究の最終的な目的は、長期主義的な視点から、私たちが追求することで高度なAIが最終的に良い結果をもたらす確率を明らかに高めるような高位の目標を特定することだ(Muehlhauserに倣って、この目的を「戦略の明確化」と称することもある)。この研究自体も、ターゲットされた(目的を絞った)戦略研究と探究的な戦略研究との間のゆるやかな分布のどこかに分類することができる。ターゲットされた戦略研究(目的を絞った戦略研究)は、研究をすることで、他の具体的で重要な既知の問題を解明するようなものである例:「人間の脳がどの程度の計算量を使うのか知りたい。研究することで、他のどの重要な質問に答えるのに役立つかが研究する前にはわからないような質問に答えている例:「中国の産業政策がどのようなものかを調べたい。AI予測研究、例:生物学的アンカーやニューラル言語モデルのスケーリング法則など戦略にどう関係するのかの例:変革的AIの実現が近い場合、大規模な専門家集団をゆっくり育てることはあまり期待できないように思われる。変革的AIの実現がかなり先になるのであれば、長期的な視点に立ったAIガバナンスは比較的優先されないだろう。AIによるx-risk(存亡リスク)のリスク源を明らかにする研究。戦略にどう関係するのかの例:もしAIによるx-risk(存亡リスク)のほとんどが異常化した(アラインしていない)高度AIエージェントに由来するのであれば、ガバナンスはそれらの高度なAIを開発する最初の関係者達に影響を与えることに焦点を当てるべきだろう。Impactsによる調査・分析など。戦略にどう関係するのかの例:もしAIの進歩が不連続的に起こるなら、ハイステークスのアクター(影響力の大きいアクター)は少数になる可能性が高く、ガバナンスの価値の大半はそれらのアクターに影響を与えることから生まれるだろう。一般的に、戦略研究(特に探索的戦略研究)は、広範囲を対象とする研究と混同されがちである。実際には、上記の例の多くが示すように、戦略研究は狭い範囲を対象とすることもでき、かなり狭い問いに答えることもできるのである。広範な質問と狭い範囲の質問の例:スケーリング法則について:広範な質問:一般的に、深層学習モデルの性能は、それらのモデルのサイズを増加させるとどのように変化するのだろうか?さらに狭い範囲の質問:特に大規模言語モデル(例:GPT-3)の性能は、それらのモデルのサイズを増加させるとどのように変化するのか?(この論文で取り組まれた質問)AIのx-risk(存亡リスク)のリスク源について。(このレポートで扱われている質問)実際、特に若手研究者にとっては、スコープを絞った狭い範囲の質問を選ぶ方がより扱いやすい傾向があるので、そうすることが良い場合が多いと思う。Muehlhauserは、このような研究に挑戦したい人に向けて、いくつか推奨事項を述べている:この投稿のポイント4を参照。オープン・リサーチ・クエスチョンの例については、こちらの投稿を参照。直接的なインパクト:AIガバナンスでは、数多くの目標が存在しうる中で、最も重要なものを優先する必要がある。これらの研究の動機は、研究者が「私たちが追求すべき(AIガバナンスの)戦略目標に影響を与えるテーマが何であるかが不明確だ」という印象を抱いていることにある。x-risk(存亡リスク)のシナリオとx-risk(存亡リスク)の総量について、それぞれ大きく意見が分かれているを示しているこれらの調査結果をご参考に。間接的なインパクト:フィールドビルディング:私たちが何を目指しているのか、そしてそれがなぜ重要なのかを明確に理解することで、より多くの人をこの分野に呼び込むことができる。政策変更の必要性を伝える:今後、人々にとってコストのかかることや革新的なことをするように説得したいのであれば、私たちが何を目指しているのか、そしてなぜそれが重要なのかについて、明確な説明を用意しておくとよいだろう。AIの戦術研究は、最終的には(戦略研究が優先すべきとした)高位の目標を達成するための計画を特定することを目的としている。その性質上、より狭い範囲を対象とする研究になる傾向がある。優先すべき目標が明確に特定されていない場合でも、自分自身の学習のため、キャリア資本のため、学問分野の構築のためなどの理由で戦術研究を行うことができるということは注目に値するだろう。profit(超過利潤)と認定)、AI企業が共通善のために利益を分配することをあらかじめ義務付けるもの)計画:共通善のためにAIの利益を分配するためのツールを開発する。この計画が追求する高位の目標:高度なAIを最初に開発するためにアクター同士が競争するインセンティブを減らし、経済的不平等を軽減する。検証可能な主張をサポートするメカニズム計画:AI開発者が、AI開発に関する自らの主張をより検証可能なものにする(つまり、開発者が説明責任を持てるような主張をする)ための手法を開発する。この計画が追求する高位の目標:AIシステムの責任ある行動を実証するメカニズムの開発、より効果的な管理体制の実現、競争力を得るために手抜きをするプレッシャーの低減。計画:競争法と協調的なAI開発の必要性との間の緊張関係を緩和する方法の提案この計画が追求する高位の目標:高度なAIを開発する企業間の協力関係を強化する。直接的なインパクト:(政策や将来の研究において)より良い意思決定を下すために役立つ解決策を生み出すこと。Dafoeの言う「研究の製品モデル」である。向上させることに貢献する。Dafoeの言うところの「研究のフィールドビルディングモデル」である。戦略研究は、高位の目標を導き出す。戦術研究は、それらの目標を達成するための計画を立てる。政策立案活動では、これらの計画を政策提言に落とし込み、政策立案者に提供する。そのためには、例えば、具体的にどのような提言をするか、(正式な政策と提言の両方において)どのような言葉を使うか、その他実施の成功確率に影響を与えるコンテクスト特有の特徴を見極める必要がある。政策アドボカシー活動とは、政策が実施されるよう提唱する活動である。「誰に対して政策提言をするのか?」、「どのタイミングで政策提言をするのか?」、そして「その政策提言を誰がするのか?」に関して最適解を見極めることである。政策実施とは、公務員や企業などが実際に政策を実施する作業である。政府政策(政府や政府間組織によって制定されることを意図した政策)と企業政策(企業によって採用されることを意図した政策)を区別することには価値がある。長期主義的なAIガバナンスに取り組む人々の中には、企業政策(特にAI開発者のための政策)の改善に重点を置く人もいれば、関連する政府の政策の改善に重点を置く人もいる。政策立案を成功させるためには、実施の詳細が極めて重要であるという認識がすべての政策活動に共通する動機だ。政府の規制に微かな抜け穴があると、その規制が無意味になってしまう。研究と比較すると、この種の仕事は一人で考えることが比較的少なく、会話や情報収集(例:ある政策に対して誰が権限を持っているか、彼らが何を気にしているか、他のプレイヤーは政策に何を求めているかを知るために会議を開く)、そして調整(例:ある政策を支持するようにアクターのグループに対してどう働きかければいいかを考え、それを実現する)がより多い傾向がある。先ほど述べたように、政策の洞察は時に「逆流」する。AI技術を原子力の指揮・統制・通信(NC3)に組み込まないことを約束すること。Proofレポートで提唱しているように。政府によるAI開発の監視。例:AI監視に関するこのホワイトペーパーで詳しく述べられているようなもの高度なAIシステム(現在のものも含めて)のリスクを考慮した初期の規制やAI戦略・原則を定めること。EUのAI法に対して様々なEA組織によるフィードバックなど。企業政策AI研究が悪用される可能性を考慮し、責任を持って普及させるための規範を整備すること。例:PAIによるこれらの推奨事項などこれらのアイデアは、より対象を絞ったもの(例:AIをNC3に統合しない)から、より一般的なもの(発生するであろう幅広い種類の問題に対処するための汎用的能力を備えるという意味で。例:上述の他のほとんどの問題など)まで、さまざまだ。私は今日の私たちの政策立案、アドボカシー、実施はより一般的なアイデアに集中すべきだと思う。今後AIがどのように展開するのかというのが我々にとって不透明だからである(一方で、明らかに優れた特定のアイデアが生じた場合には、それを推進することも必要だ)。直接的なインパクト:優れた政策を実施することで、高度なAIが存在する世界への移行をうまく舵取りできる可能性が高まる。構築することができる。AI「クランチタイム(正念場)」[5]になってから、政策策定や意思決定の方法について学び始めるようなことは避けるべきでしょう。言え、結果的に有害となるような政策の実施には十分注意する必要がある。DeepMindフィールドビルディングこの仕事は長期主義的なAIガバナンスにおいて価値ある仕事をしている人々のフィールドやコミュニティを成長させることを明確な目的としている。[6]この仕事は、(1)新しい人々を引き入れることと、(2)この分野をより効果的にすることの両方を含んでいると考えることができる。Fellowshipのような政策フェローシップ。AIガバナンスで起きていることを若手が把握するためのオンラインプログラムやコース。高品質で幅広い層が興味をもてる多くの学部生に届くような入門教材。関心を持つ若手をつなぎ、支援し、資格を付与するための、よりスケーラブルな研究フェローシップ。研究助手を簡単に雇えるようにする手段。成長モデル:重要な研究と政策の仕事(特にこの仕事において戦略が明確でないことがボトルネックになっていない場合)をする能力と関連する専門知識を持った多くの連携した人々とともに長期主義的なAIガバナンスのフィールドを構築する。)と密なつながりを持ち、これらのコミュニティから多様な専門知識を引き出せるような長期主義的なAIガバナンスのフィールドを構築すること。Cambridgeなどである。広い視野で見れば、特定の課題領域に限らない広範なEAムーブメントのコミュニティビルディングも同様だ。これは、この投稿で議論されている仕事の中で、最も探究されていない種類のものだ。私は、長期主義的なAIガバナンスの展望の一つの考え方を提示しただけである。そのほかの目的に対して役に立つ別の考え方もある。以下のような様々な種類の介入に基づいて、展望を区分することができる。企業行動の転換(例:「Windfall」条項)...あるいは、地理的なハブによって区分することもできる。(ただし、すべての組織が地理的なハブに属しているわけではない)。ベイエリア:OpenPhil、OpenAI、PAI、様々なAIアライメント組織。culture)に近い。米国の政策立案、アドボカシー、実施に重点を置き、文化的にはDC文化に近い。英国:FHI/GovAI、DeepMind、英国政府、CSER、CLTR、(その他?)。x-risk(存亡リスク)源に対してより多くの懸念を抱いている。EU:2020年、欧州委員会が世界初のAI規制を起草し、この規制が今後数年で成立する可能性が高く、ブリュッセル効果につながる可能性がある。中国...あるいは、さまざまな「勝利の理論」、つまり、人類が高度なAIが存在する世界への移行をどのようにうまく乗り切るかについての複数の完結した物語に基づいて、展望を区分することもできる。この他にも色々言いたいことはあるのだが、この記事の目的は現在行われている活動の種類を簡潔に概観することである。AnalysisによるEAフォーラムの投稿に触発され、さらに直接引用したものです。Baumöhl、特にSERIの査読者の、草稿に対するフィードバックに感謝しています。この作品は、クリエイティブ・コモンズ表示4.0国際ライセンスの下でライセンスされています。