ResearchTweetShareHatena言語モデルの進化は、単なるテキスト生成から、より高度な「理解」へとシフトしています。今回行われた研究では、大規模言語モデル(LLM)が単に次のテキストを生成するための統計(確率)を計算しているだけでなく、物事がどのように位置づけられ、時間がどのように進行するかを「理解」している可能性が新たに示されました。本研究は野心的なテーマに挑んでいるため、大きな命題に対する断定的な結論が得られているわけではありません。それでも一見の価値がある報告内容となっています。HR」を開始しました!登録後はオファーを受け取るだけのシンプルなサービスです!現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。本研究は、マサチューセッツ工科大学(MIT)の研究者によって行われました。彼らの研究は、LLMが実際に「世界モデル」を形成している可能性を示しています。世界モデルとは、現実世界の動きを把握するための内部的なフレームワークです。GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに従来の課題LLMの目的と”理解”大規模言語モデル(LLM)は、基本的に「テキストの次のトークンを予測する」という目的で訓練されています。これらのモデルは単なるテキスト生成以上の能力を示しており、”理解”に似た挙動が見られます。LLMが何をどう理解しているのかは、非常に不明確です。言え、LLMは単に大量の相関関係を学習した結果を出力しているだけではなく、独自のデータ生成プロセスを持っている可能性が指摘されています。研究の背景と疑問点LLMの高い能力が明るみになるにつれて、疑問も増しています。LLMが世界に対するモデルを形成しているのか、それとも単に表面的な統計情報を学習・出力しているのかという疑問です。既存の研究では、LLMがゲームの状態や色、空間に関する知識を持っていることが示されています。これらの研究は主に特定のドメインに焦点を当てており、LLMがどのように「世界モデル」を形成しているのかについては明らかにされていません。目的とアプローチ今回、MITの研究者らによって、LLMが「空間と時間に対する理解」を持っているかどうかが調査されました。研究者らは、この問いに答えるために、特定の方法論を採用しています。研究者らは、6つの異なるデータセットを用意しました。ニュースヘッドラインなどが含まれています。データセットは、LLMが空間と時間に対する理解を持っているかどうかを評価するための基盤となります。モデルの選択:Llama-2ファミリーこの研究で使用されたモデルは、Llama-2ファミリーに属しています。Researchによって開発された大規模な言語モデルであり、7Bから70Bのパラメーター範囲で提供されています。元々のLlama-1からアップデートされ、新しい公開データのミックスで訓練されています。Llama-2は、安全性と有用性に重点を置いて設計されており、多くのベンチマークテストで既存のオープンソースのチャットモデルを上回っています。対話用途に最適化されたバージョンであるLlama-2-Chatも提供しています。本研究では線形回帰プローブと非線形回帰プローブを用いて実験が進められました。今回使用されたプローブは、LLMの内部活性化に基づいて、エンティティ(場所やイベント)の実際の世界の位置または時間を予測する補助的なモデルです。LLMが空間と時間に対するどのような「理解」を持っているのかが評価されます。プローブは、各モデル、データセット、レイヤーで訓練され、その性能はR2値で評価されます。線形的な対応関係を測る「線形回帰プローブ」と線形的な対応関係を測る「非線形回帰プローブ」が用意されました。線形回帰プローブは、LLMの内部状態(活性化)から目的変数(この場合は空間や時間の情報)を予測するための線形(直線的な関係性)モデルです。このプローブは、特定の特徴量(例えば、場所や時間)がモデル内でどのように線形的に表現されているかを評価するために使用されます。非線形回帰プローブは、より複雑な関係性を捉える能力があります。この研究ではその性能の向上は限定的でした。線形プローブと非線形プローブの選択は、研究の目的や評価する特徴に依存します。この研究では、どちらも使用され、線形プローブが空間と時間の連続的な特徴に対しても高い性能を示しいました。研究では、線形プローブが非線形プローブよりも優れた性能を示していました。具体的には、線形プローブと非線形プローブ(一層のMLP)を比較した結果、R2値(決定係数)において線形プローブが高い性能を発揮したことが報告されています。これは、空間や時間の情報が線形的に(または少なくとも線形的に解読可能で)表現されているという証拠とされます。研究では、さまざまなデータセットとモデルに対してR2値を計測しました。その結果、非線形プローブの使用によるR2値の改善は最小限であり、線形プローブが十分に高い性能を発揮していることが確認されました。研究では、LLMのニューラルネットワークにおける階層を半分まで進んだところで、空間と時間の理解度が向上すると報告されています。その後、性能は限界点に達するとされています。空間と時間の特徴は、モデルの階層が進むにつれて品質が向上しますが、階層の半分を超えると、その品質はプラトー(限界点)に達することが観測されました。当サイトの利用にはAIDBのアカウントが必要です。記事の購読には、アカウント作成後の決済が必要です。※ログイン/初回登録後、下記ボタンを押してください。AIDBとはプレミアム会員(記事の購読)について■サポートのお願いAIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。画像分析機能を持つオープンソースLLM『LLaVA-1.5』登場。手持ちの画像を分析可能。