ResearchTweetShareHatena現行のLLMエージェントは、ユーザー指示の不明確な点を質問したり、ユーザーの意図を正確に把握することが苦手です。そこで今回研究者らは、ユーザーの意図を探るためのベンチマークを開発しました。タスクの曖昧さを見極め、ユーザーの意図を聞き取り、実行可能な目標に絞り込んでから下流のエージェントによるタスク実行を行うモデルMistral-Interactを開発しました。HR」を開始しました!登録後はオファーを受け取るだけのシンプルなサービスです!現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。モデルはAIエージェントとしてユーザーを支援することにも使われ始めています。エージェント開発に特化した多くのオープンソースフレームワークが登場しています。現在のLLMエージェントには次のような課題があります。ユーザーがエージェントに与える指示は曖昧で簡潔すぎる場合が多い一見明確な指示でも意図が異なる可能性があるため、明示的な質問によって探る必要がある要するに、エージェントは表面的な目標を達成したように見えても、実はユーザーの真の意図とかけ離れてしまう「見せかけの成功」に陥りがちです。そのため、エージェントはユーザーとのやり取りを通じて隠れた意図を理解することが重要になります。既存のエージェント設計とベンチマークは、タスクが明確であることを前提としており、意図の汲み取りは評価対象に含まれていません。そこで研究者らは、タスクの曖昧さ判断や真の意図の理解を通じたエージェントの対話能力をテストするベンチマークを作成することにしました。これまでに行われてきた研究では、エージェント間のコミュニケーション・連携・評価のためのマルチエージェントフレームワークについて探求されてきました。エージェント設計におけるユーザーの役割についてはあまり重要視されてきていません。下記では、新しいベンチマークの開発と、モデル「Mistral-Interact」の開発、そして性能評価結果について紹介します。当サイトの利用にはAIDBのアカウントが必要です。記事の購読には、アカウント作成後の決済が必要です。※ログイン/初回登録後、下記ボタンを押してください。AIDBとはプレミアム会員(記事の購読)について■サポートのお願いAIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。