2024-04-03WEELメディア事業部テックリサーチャーのゆうやです。CLIP」が公開されました。このモデルは、ゼロショット画像分類や画像検索能力が大幅に向上し、日本語に特化したマルチモーダルタスクに対応可能です。以下のように、画像に写っている人物の職業を分類することなどができます。CLIPの概要や使ってみた感想をお伝えします。CLIP」が公開されました。CLIP」を公開しました!このモデルはゼロショット画像分類や画像検索を大幅に向上し、日本語に特化したマルチモーダルタスクに対応可能です。2023このモデル単体では、ゼロショット画像分類(事前学習なしで画像分類)やテキストから画像を検索する画像検索などに用いることができます。image-to-textといったマルチモーダルな生成タスクに拡張することが可能です。CLIPは、日本語に特化した画像言語抽出モデルで、学習には最新手法であるSigLIPを用いています。loss)を使用して、画像-テキストペアの処理を強化する手法で、VLMやCLIPモデルの学習で用いられています。LICENSEというライセンスで提供されており、商用利用も可能です。AIが行った評価では、オープンソース日本語対応CLIPモデルの中で最も高いスコアを獲得しています。accuracyのスコアが80以上のものあり、まだまだこれからだと開発者の方は意気込んでいます。https://t.co/VDwS48vQqH最後に意気込み。非英語のCLIPの中でもスコアとしては最高ですが、英語のモデルでは80以上のスコアを出すモデルもあり、それと比べるとまだまだです。いつか、80以上を達成する非英語CLIPを作れるように頑張ります。CLIPは、デモ用Colabノートブックが公開されており、誰でも気軽に試すことが可能です。AIの最新の日本語画像言語モデルについて詳しく知りたい方は、下記の記事を合わせてご確認ください。CLIPは、以下のColabノートブックを実行することで使用ができます。japanese_stable_clip.ipynb基本的にはこれを実行すればよいだけですが、HuggingFaceのトークンが必要なのであらかじめ取得しておいてください。画像分類に使用するカテゴリは、以下の画像の部分で任意のものに変更できます。以下にローカルに実装する際のコードを掲載しておきます。CLIPを使用できるようになります。CLIPを実際に使ってみたExampleであらかじめ用意されていた3種類の画像を入力してみます。結果は、どの画像も正確に画像に写っている人物の職業を当てています。3枚目に関しては100%警察官だと言い切っているので、かなり自信があるのでしょうね。これは日本語CLIPモデルで最高の性能を持っているというのも本当のようです。ここからは、風景や人物以外の対象物を分類させてみて結果がどうなるか検証してみようと思います。CLIPで色々なパターンの画像を分類させてみた今回は風景の画像と人間以外が中心に写っている画像を入力してみます。シュナウザーが走っているまずはカテゴリ設定をする必要があるので、決めていきます。カテゴリ設定は、システムを惑わせるように似たようなものを複数設定します。走っている犬が歩いている猫が走っている猫が歩いている柴犬が走っているシュナウザーが走っている犬が寝ている犬が座っている犬が飛んでいるまずは最初の画像から実行してみます。こちらは、画像の内容に合致するもののみがピックアップされて分類されました。田園風景が82%と判断されており、人間と近い判断基準を持っているようですね。続いて2枚目の画像です。こちらは100%富士山だと判断しており、やはり特徴的なものは判断に自信があるようですね。次は少しマイナーな阿蘇山の画像ですが、こちらはどのように判断するのでしょうか。結果は以下のようになりました。こちらは富士山と判断してしまっており、誤った分類をしてしまいました。マイナーなものは判断しきれないのでしょうか。それでは最後のシュナウザーが走っている画像です。こちらは100%シュナウザーが走っている画像だと判断しています。シュナウザーまでは識別できずに犬が走っていると判断するだろうと思っていたので驚きました。今回の検証結果から、誤った判断をすることもりますが、おおよそ人間と同じように分類できるほどの性能を有していることが分かりました。欠点としては分類するカテゴリーはあらかじめ自分で設定する必要があり、その中にあるものでしか分類してくれないので、使い勝手があまりよくない点です。今後、このモデルを活用して高性能で使い勝手のいいマルチモーダルモデルがリリースされることに期待しましょう!なお、StabilityAIの画像言語モデルについて詳しく知りたい方は、下記の記事を合わせてご確認ください。モデルで、ゼロショット画像分類(事前学習なしで画像分類)やテキストから画像を検索する画像検索などに用いることができます。その性能は、オープンソースの日本語CLIPモデルの中では最高性能であり、今後もさらに開発を継続して英語のCLIPモデルに近い性能を目指すそうです。image-to-textといったマルチモーダルな生成タスクに拡張することが可能であり、更なる可能性を秘めています。使ってみた感想は、使い勝手が悪い部分はあるものの、人間とほぼ同じレベルで画像を分類することができる性能を有していると感じました。・自社専用のAIチャットボットの開発などの開発実績がございます。「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。生成AIを社内で活用していきたい方へ「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。セミナー内容や料金については、ご相談ください。サービス紹介資料もご用意しておりますので、併せてご確認ください。無料で相談する資料をダウンロードする投稿者ゆうやロボット工学専攻。大学時代は、対話ロボットのための画像キャプションの自動生成について研究。趣味は、サウナとドライブ。集計期間:1週間まだデータがありません。高いAIプロフェッショナル集団」を目指して私たちは、AIに関わるすべての人に向けて、透明性の高い適切な情報発信と開発を行います。「WEELは、一番地に足ついたAI情報を教えてくれる」と思っていただけるよう、透明性高い事業運営を行なって参ります。透明性の高い適切な情報発信と開発を行います。透明性高い事業運営を行なって参ります。