千貴、以下、オルツ)は、2024年5月9日に、大規模言語モデル(LLM)におけるハルシネーションをスコアリングする手法の開発に成功したことを発表いたします。「ハルシネーション」とは、LLMがまるで幻覚を見ているかのように、正当性がなく、事実に基づかない虚偽の回答をしてしまう現象です。このようにLLMが誤った情報を出力することは、企業や個人にとって深刻な信頼問題を引き起こす可能性があるだけでなく、LLMの今後の応用にも大きな障壁となっています。オルツでは、以前から独自の大規模言語モデルを開発・提供しており、この開発の経験を活かし、ハルシネーション問題を解決する研究開発を続けてまいりました。この度、ハルシネーションを解決する方法の一つとして、ハルシネーションが発生するか否かを判定し、その発生確率(ハルシネーション・スコア)を自動的に評価できる手法を独自に発明し、「ハルシネーション自動評価エンジン」を開発いたしました。本開発における実験では、本「ハルシネーション自動評価エンジン」は、JcommonsenseQAデータセットから作成した擬似評価セットにおいて72%の正解率でハルシネーションの判定を実現しました。本エンジンは、オルツが独自に開発してきた軽量型大規模言語モデル「LHTM-OPT(https://alt.ai/news/news-2300/)」だけではなく、GPT-3.5、Llama2など、様々なLLMのハルシネーションのスコアリングが可能になります。本エンジンは、一貫性を重視してハルシネーションの評価を行います。具体的には、同じ入力データに基づいて複数の生成プロセスを行い、これらの結果を比較します。このアプローチにより、生成された内容における不一致や矛盾を特定し、それに基づいて「ハルシネーション」、すなわち、学習データや事実に基づかない不正確な生成物が生じているかどうかを確率的に評価します。developer(https://developer.alt.ai/)」のAPIサービスを通じて提供を開始いたしました。Developer:https://developer.alt.ai/api-doc.html#tag/LHTM-OPT/operation/lhtm-opt-completion)本件ならびにLLMを活用したプロジェクトについては、以下のアライアンス窓口にお問い合わせください。大規模言語処理ソリューションに関するお問い合わせ先https://alt.ai/aiprojects/gpt/株式会社オルツについて2014年11月に設立されたオルツは、P.A.I.®️(パーソナル人工知能)、AIクローンをつくり出すことによって「人の非生産的労働からの解放を目指す」ベンチャー企業です。Productsを開発・提供しています。2024年4月までの累計調達額は約100億円超に達しています。メディア・製造・小売・サービス業など、ジャンルを問わずAIソリューションの提供および支援を行っております。お気軽にお問い合わせください。浅井e-mail:gptsolutions@alt.aiこのプレスリリースには、メディア関係者向けの情報がありますメディアユーザーログイン既に登録済みの方はこちらメディアユーザー新規登録無料メディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。