2024-07-22WEELメディア事業部LLMライターのゆうやです。Base)が開発した最新のオープンソースマルチモーダル言語モデルで、8BというサイズながらGPT-4Vと同等の性能を有しています。2024また、30以上の言語に対応しており、日本語にも対応しています。このモデルの一番の強みと言ってもいいOCR能力は、ベンチマークでGPT-4oを上回るスコアを獲得しています。2.5の概要と使ってみた感想をお伝えします。Proといった名だたる高性能モデルと同等以上の性能を有しています。このモデルの主な特徴です。Proなどを上回るスコアを獲得しています。2.5は30以上の言語をサポートしており、日本語、ドイツ語、フランス語、韓国語などが含まれています。効率的な展開:このモデルは量子化、CPU最適化、NPU最適化などを活用して、高効率なエッジデバイス上での展開を可能にしています。Qualcommチップを搭載したモバイルデバイスでは、画像エンコードの速度が150倍、言語デコードの速度が3倍に向上しています​。2.5はRLAIF-V技術を利用して、より信頼性の高い出力を生成します。HalBenchでの幻覚率は10.3%と低く、GPT-4V-1106の13.6%を下回っています。簡単な使用方法:このモデルは、llama.cppやollamaを使用したローカルデバイスでの使用や、GradioやStreamlitを使用したローカルWebUIデモもあります。このモデルは、高性能と高効率を兼ね備えており、ベンチマークではOpenCompassで65.1、OCRBenchで725というスコアを獲得しています。OCRBenchは、GPT-4oより高いスコアとなっており、テキストのOCR抽出やテーブルからMarkdownへの変換などの機能が強化されています​。他のベンチマークでも、最新のマルチモーダルモデルと同等の性能を示しています。2.5と他のモデルのベンチマーク結果を示した表とグラフです。引用元:https://x.com/OpenBMB/status/1792761578422747567/photo/1引用元:https://huggingface.co/openbmb/MiniCPM-Llama3-V-2_5また、多言語マルチモーダルベンチマークであるLLaVAベンチマークでも、他のオープンソースマルチモーダルモデルと比較して圧倒的な性能を示しています。引用元:https://huggingface.co/openbmb/MiniCPM-Llama3-V-2_5このモデルは、8Bという非常に小型のモデルであり、スマートフォンで動作するほど軽量です。Qualcomm製のチップを搭載したデバイスでは、なんと画像エンコードの速度が150倍、言語デコードの速度が3倍になるそうで、現在モバイルデバイスに展開する準備をしているようです。Proについて知りたい方はこちらの記事をご覧ください。WEELメディア事業部AIライターの2scです。1.0の発表からわずか1週間で、Geminiの最新版を発表しました。2.5は、オンライン上のデモを使用する方法やローカルに実装する方法があります。Spaceで公式のデモ使用するのが最も簡単です。openbmb/MiniCPM-Llama3-V-2_5ローカルローカルで実装する場合は、まず以下のパッケージをインストールします。Pillow==10.1.0torch==2.1.2torchvision==0.16.2transformers==4.40.0sentencepiece==0.1.99続いて、以下のコードを実行すると推論が実行されます。end='')ローカルで使用する場合は、これ以外にもllama.cppやOllamaでも簡単に使用できます。2.5を実際に使ってみた先ほどのベンチマーク結果の比較グラフを入力して、以下のプロンプトを入力してみます。image.この画像の説明をして結果はこのようになりました。tasks.画像に対する非常に詳細で正確な説明文を出力してくれました。8B程度のパラメータでここまでの品質なのは驚きです。2.5を実行するには、以下の環境が整っている必要があります。Python3.10以上Pillow==10.1.0torch==2.1.2torchvision==0.16.2transformers==4.40.0sentencepiece==0.1.99必要なスペックについては、8BサイズなのでミドルレンジのGPUでも動作しそうです。ここからは、GPT-4oとPhi-3-Visionとの比較を行っていきます。2.5をGPT-4oとPhi-3-Visionと比較してみたそれでは早速GPT-4oとPhi-3-Visionとの比較を行っていきたいと思います。今回検証するのは以下の項目です。Answering)テキスト抽出(日本語)果たしてどのような結果になるでしょうか。Answering)以下の英語で書かれた数学の問題の画像を入力し、正しい解答が出力できるか検証します。引用元:http://blog.livedoor.jp/jatcentre/archives/2001012.htmlこの問題は、斜線になっている三角形が底面の立体の体積を求める問題で、答えは\frac{4\sqrt{3}}{15}です。以下のプロンプトを入力します。image.画像内の問題を解いてください結果はこのようになりました。units.この立体の体積を求めるには、y軸に沿った断面の面積を合計する必要があります。用いて、1つの断面の面積を計算することができます。y軸は-1から1まで伸びているため、立体の体積に寄与する断面は2つあります。-1の場合、高さがゼロになるため、面積は0となります。1の場合、高さがゼロになるため、最初の断面と同じ面積となります。したがって、立体の体積は、これら2つの断面の面積の合計となります。まで積分する必要があります。