2024-05-01WEELメディア事業部LLMリサーチャーの中田です。11月28日、Microsoftのリサーチブログで、「MedPrompt+」というプロンプト手法に関する記事が公開されました。Promptingこのプロンプト技術によって、ChatGPTの能力を従来よりも向上させ、質の高い回答を得られるんです...!MedPrompt+でプロンプトをChatGPTに入力した場合、精度が90%を超えたらしい。Ultraよりも精度が高くなったのだとか。小説『ニューロマンサー』の中で、主人公がAIと対話し、情報を得たり、特定の行動を促されたりするシーンのような感じなんです。この記事ではMedPrompt+の使い方や、有効性の検証まで行います。本記事を熟読することで、MedPrompt+の凄さを実感し、普通のプロンプティングには戻れなくなるでしょう。最後までご覧ください。目次MedPrompt+の概要Medpromptは、以下のプロンプトエンジニアリング技術を組み合わせた手法です。要するに、あらかじめk-NNによって「Few-Shot」と似た要領で回答例を何個か抽出し、それをもとにCoTで何通りかの回答を算出します。その何通りかの答えの中から、多数決で最も多い回答を選択し、これを最終的な答えとします。この手法は、特に医学分野で有効なのだとか。参考:https://www.microsoft.com/en-us/research/blog/the-power-of-prompting/MedpromptをGPT-4で試したところ、MedQAデータセットで初めて90%を超えるスコアを達成し、MultiMedQAスイートの全9つのベンチマークデータセットで最高の結果を達成しています。さまざまな専門分野でも有効であることが示されています。Ultraよりも高いことが分かりました。参考:https://www.microsoft.com/en-us/research/blog/the-power-of-prompting/「@」は、アンサンブルをする数です。GeminiとGPT4の性能について詳しく知りたい方は、下記の記事を合わせてご確認ください。GPT-4】史上最強LLMの性能を比較したら普通にGPT-4の方がすごかった件MedPrompt+の料金体系MedPrompt+はプロンプトエンジニアリング技術なので、無料で利用できます。MedPrompt+の使い方MedPrompt+の具体的なプロンプトテンプレートは、公式ページに公開されていませんでした。Medicine原論文に、以下のMedPrompt+のアルゴリズムがありました。参考:https://arxiv.org/pdf/2311.16452これをもとに、プロンプトテンプレートを英語で作ってみます。回答のテキストデータを入力し、各質問に対する思考の流れを生成させる生成された回答を比較し、最も頻繁に出現する回答を最終的な回答として選択これをもとに出来上がったテンプレートが、以下の通りです。answer."これでうまくいくかは分かりませんが...MedPrompt+を実際に使ってみた先ほどのプロンプトテンプレートの以下の部分に、回答例をいくつか載せます。Timeのところの、以下の部分で「本当に質問したいこと」を書いてください。Japan(路上飲酒)は良いか悪いか」についての質問をしてみましょう。プロンプトは、以下の通りです。answer."結果は、以下の通りです。いうのも、日本における文化的背景や慣習が重要な役割を果たしており、この文脈では、他の文化圏で見られるような否定的な見方はされないからである。」とあり、日本における路上飲酒を良しとした結果が返ってきました。確かに、海外では通常できない「路上飲酒」という行為は、日本では合法であり、文化的にも重要だということで、良いとしたのでしょう。その意味であれば、正しいと思います。次に、通常のゼロショットで、「日本における路上飲酒の是非」を答えてもらいます。その結果は、以下の通りです。drinking.こちらも先ほどと同様の理由で、肯定的な意見を返しました。この結果より、「個人的な利用」であれば、ゼロショットでもなのかも?MedPrompt+の推しポイントであるGemini以上の性能は本当なのか?次に、Geminiに対して、先ほどのMedPrompt+と同様のプロンプトを投げかけてみます。結果は以下の通りです。issues.「法的には合法だが、マナーが悪いから、どちらとも言えないよね」という出力が返ってきました。ある意味、とてもまともな回答だと思います。いえ、性能面に関してはMedPrompt+と、そんなに変わらないですね。MedPromptの論文の実験結果でも、数%しか違っていなかったので、「それはそうだろう」と思います。結論として、普段使いであればMedPrompt+でなくても大丈夫だと思います。高度な専門性を問うような質問の場合、MedPrompt+が有効になってくるのかも?なお、ラフな絵から3Dを作れるAIについて詳しく知りたい方は、下記の記事を合わせてご確認ください。3D】雑なラフ絵を精巧な3DCGに変換できる神AIツールまとめMedpromptは、以下のプロンプトエンジニアリング技術を組み合わせた手法です。要するに、あらかじめk-NNによって「Few-Shot」と似た要領で回答例を何個か抽出し、それをもとにCoTで何通りかの回答を算出します。その何通りかの答えの中から、多数決で最も多い回答を選択し、これを最終的な答えとします。結論として、普段使いであればMedPrompt+でなくても大丈夫だと思います。高度な専門性を問うような質問の場合、MedPrompt+が有効になってくるのかもしれませんね。・自社専用のAIチャットボットの開発などの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。サービス紹介資料もご用意しておりますので、併せてご確認ください。中田データサイエンス専攻の大学院生。大学では、生成系AIの拡散モデルを用いた音楽生成について研究。趣味は作曲、サッカー、コーヒー。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。