ResearchTweetShareHatenaLLMによる複雑な多段階の推論には、なお課題があります。そこで、DeepMindの研究者によって推論の性能を上げる「ステップバック・プロンプティング」が開発されました。本記事ではこの手法の性能に関する実験結果と使用方法を解説します。HR」を開始しました!登録後はオファーを受け取るだけのシンプルなサービスです!現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。Reasoning)など、複雑なタスクでの使用が増加しています。これらの高度なタスクにおいて、LLMは中間の推論ステップでの正確性は必ずしも十分ではない場合があります。既存のプロンプト技術、例えばChain-of-Thought(CoT)プロンプトなどは、中間の推論ステップでの正確性を確かに向上させるものの、分野によっては精度が足りない場合もあります。簡単に言えば、現在のLLMは「考える過程」でしばしば間違いを犯し、その結果として誤った結論に至る可能性があります。科学的な問題解決において、LLMは正確なデータ解釈ができない場合があり、それが誤った結論を導く可能性があります。本記事の関連研究:LLMが真の推論能力を発揮するには時折「一時停止」させるのが重要との報告ステップバック・プロンプティングの仕組みそこで今回、DeepMindの研究者らはLLMの推論能力を向上させるための手法としてステップバック・プロンプティングを考案しました。方法論は主に二つのステップで構成されています。抽象化まずは高次の概念や原則(要するに前提)に関する質問を最初に提示することで、特定の詳細から高レベルの概念や原則を導き出します。問題に含まれる具体的な要素や条件を明確にします。これらの要素や条件から一歩引いて、より高次の概念や原則に関する質問を設計します。高次の質問に対する答えを用いて、推論の前提を確立します。次に、確認した前提に基づいて、本来の質問における解決策を推論します。ステップ1で確立した前提を、本来の問題解決に適用します。前提に基づき、可能な解決策を論理的に導き出します。複数の解決策が存在する場合、最も効率的かつ効果的なものを選定します。Thought(連鎖的思考)とは、問題解決の過程を段階的に進めるように指示するプロンプト技術です。「ステップバイステップで取り組んでください」といった指示プロンプトを与えることによって実行でき、推論の各ステップが明確になります。この方法は、複雑な問題や多段階の推論が必要な場合に有用です。この技術は中間の推論ステップでエラーが発生する可能性もあります。Breathe(深呼吸)とは、推論の精度を向上させるためのプロンプト技術です。「深呼吸してから取り組んでください」といった指示プロンプトによって実行できます。モデルがより慎重に問題解決に取り組めるようにするテクニックです。下記の記事で紹介している論文で初めて明らかにされ、その人間らしさからかなり大きな話題になりました。LLMが巡回セールスマン問題などの最適化問題を解く〜自分自身で優れたプロンプトを作成&活用〜これら従来のプロンプト技術は、それぞれ一定の効果を発揮していますが、中間の推論ステップでの正確性が必ずしも高いわけではありません。対象タスクこの研究では、以下の3つのタスクに焦点を当てています。高校の物理と化学に関する問題を中心に、モデルの言語理解能力を評価します。TimeQAとSituatedQAという2つのデータセットを使用しています。TimeQAは時間に関連する複雑なクエリを含み、SituatedQAは地理的または時間的な文脈に基づいてモデルが質問に答える必要があります。MuSiQueとStrategyQAというデータセットを使用しています。MuSiQueは単一の質問の組み合わせから作成された多段階の推論を必要とするデータセットであり、StrategyQAは解決に一定の戦略を必要とするオープンドメインの質問を含んでいます。使用モデル研究では、次の2つの最先端の大規模言語モデルを使用しています。基本モデルと調整済みモデルの2種類がテストされています。OpenAIによって開発されたこのモデルも実験に使用されています。モデルがどれだけ正確にタスクを遂行できるかを測定します。精度と再現率の調和平均を取ることで、モデルの全体的な性能を評価します。論文によれば、ステップバック・プロンプティングは各ベンチマークで7%から27%の性能向上を達成しました。Breathe(TDB)と比較しても、最も高い性能を発揮しました。CoTやTDBのゼロショットプロンプティングは、ベースラインモデルの性能を大幅に向上させることはありませんでした。一方で、ステップバック・プロンプティングは、PaLM-2LとGPT-4といった先進的なLLMに対しても高い性能を発揮しました。論文では、難易度の高いタスクにおいてもステップバック・プロンプティングが有効であることが示されました。TimeQAというタスクにおいて、ステップバック・プロンプティングは、高レベルの概念に基づいて最終的な推論を行うことで、精度を大幅に向上させました。ステップバック・プロンプティングも完璧ではありません。論文内でのエラー分析によれば、一部のエラーは依然として存在します。その数は従来の方法よりも少なく、特に高レベルの抽象概念に基づいた推論においては、その有用性が確認されました。本記事の関連研究:推論能力をさらに強める戦略『AoT』で、LLMが「直感」に似た能力を示すようになったプロンプト例このセクションでは、ステップバック・プロンプティングを使用した際の具体的なプロンプト例を示します。当サイトの利用にはAIDBのアカウントが必要です。記事の購読には、アカウント作成後の決済が必要です。※ログイン/初回登録後、下記ボタンを押してください。AIDBとはプレミアム会員(記事の購読)について■サポートのお願いAIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。TweetShareHatenaGPT-4との対話でタスクプランニングを行うロボットシステムフレームワークが発明されました。