LLMの意味するところおわりに参考はじめにChatGPTをずっと使っていると、本当にこれらが便利だなと思う一方、生き物/人間との違いについて思いを馳せずにはおれません。Inferenceとの関係性を想像すると、興奮します。これらの関係性について書かれた論文を調べてみると、まだ数は少ないですがいくつか見つかりました。InferenceとLLMの違いと類似点を学びます。Inferenceの違いは、これまで論じられてきたほど大きくなく、質的な違いというよりも量的な違いとみなせる。..という主張であるとざっくり捉えています。Agents以下、論文メモです。個人的な理解で補足している箇所もあります。詳しくは/正しくは原著を参照ください。背景LLMという概念はどう捉れられてきたかLLMの内部では何が起きているのか、LLMは世界を"理解"しているのか、という問題については、これまであらゆる立場の主張がされてきた。LLMは受動的な予測器にすぎず、統計的なオウムである、と言われることもあれば、世界を記述した言語から学習しているのだから、LLMの中には世界モデルが構築されてる、とされる説など、多様な論が提唱されてきた。Inferenceは、認知科学/脳神経科学に根ざす理論。生き物や人間の脳などの生物学的システムは、外環境に対して行動しながら、常に内部モデルを更新する。プロセスとして、両方とも説明することができる。AIとは本質的に異なる、と考えられることが多いが、そうでもないんじゃ、という可能性を筆者らは提唱する。inferenceシステムとしてのLLMLLMはインターネットからテキストを取り込み、その内部モデルを構築している。LLMの学習プロセスは、ある種LLMにとっての"知覚"と捉えることができる。Inferenceの視点から理解できる現象だ(※)。ハルシネーション関連の議論は、いまいちパッと理解できなかったのでここでは割愛します。InferenceとLLMの違いが論じられるとき、その本質的な違いはLLMの受動性にある、と言われてきた。Inferenceとの根本的な違いがあるという話だ。筆者らは、この違いは質的な違いではなく量的な違いである、と主張する。確かに、LLMは生き物やロボットのように物理的な行動を起こせるわけではないが、LLMの推論結果が最終的には外環境に影響を及ぼすという意味では、"行動"していると言えるのではないか。LLMの内部モデルを構成する学習データであるインターネットテキストのこと。LLMの出力結果が例えばそのままインターネットに書き込まれたり、またLLMを利用する人間の行動を変化させたりして、最終的にインターネットデータに影響を及ぼす。LLMによる出力トークンはいわば"micro-action"であり、その蓄積は最終的に世界に影響を及ぼし、ついにはLLMの知覚=学習データにも影響するようになる。(あるいはあまりに時間がかかりすぎる)。LLMが知覚=再学習する頻度は年に一度か数回程度であり、その学習においても、LLM自身の行動結果のフィードバックを十分に得られるわけではない。以下のような考え方がある。モデルの出力を次世代モデルの学習に使用する。データは調整したりフィルタリングしたりしない。モデルとのやり取りデータをファインチューニングに使用する。連続的なオンライン学習。いずれにせよ、モデルの開発者はこの行動-知覚ループのギャップを埋めることで、より自立した、適応力のあるエージェントとしてのLLMを実現できるだろう。Inferenceエージェントとして振る舞うようになると、モデルの自己認識も向上すると考えられる。モデルは自分自身に関するより多くの情報を認知し、外環境における自分の行動の結果を観察することで、自己認識が強化されていくだろう。Agents"から見てきました。Inferenceの根本的知識がないことに気が付きました。一歩ずつやっていきます。Ngの講義動画から学びます。(1)プライバシーポリシーお問い合わせ検索はてなブログをはじめよう!BioErrorLogさんは、はてなブログを使っています。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。