AI#プロンプト#マルチモーダルエンベディング(Embedding(埋込))とは文章や画像データを数値の配列であるベクトルに変換することは「エンベディング」と呼ばれます。Generation:検索拡張生成)で使用されるベクトルストアには、エンベディングによってベクトル化されたデータを保存し、ベクトルストアの検索では、コサイン類似度などの計算を通じて、類似度が高い(似ている)データを取得することが可能です。グレースケール化、明るさ変更した画像と類似度比較してみます。画像の撮影対象が同じなら撮影の条件によって、角度や明るさが変わっても類似度は高くなって欲しいことが期待されます。エンベディング保存、エンベディング検索を試したいと思います。下記OpenCVを用いたpythonコードでヒストグラムでの類似度計算したので、その結果を記載します。使って、画像をエンベディング化し、ベクトルストア(PostgreSQL)へ保存、ベクトルストアで検索します。0.2719438076019287モデル:”multimodalembedding”でエンベディングしたベクトルをPostgreSQLへ保存し、検索して類似度を取得してみました。比較元画像と比較元画像を加工した画像との類似度は近いものとなっており期待通りの結果でした。類似度が閾値以上のものをRAGとして使用することが考えられます。耕平が書いた記事xfacebookはてなブックマークpocketお客様のご要望に柔軟に対応いたします。お気軽にご相談ください。cloudpackは、アイレット株式会社が提供するクラウド支援サービスです。問い合わせまでトータルサポート!お問い合わせはこちらアイレットでは、様々な職種で一緒に働ける仲間を募集しています。インフラエンジニア、開発エンジニア、クリエイティブ職、営業職など、様々な職種で一緒に働ける仲間を募集しています。アイレット公式サイト採用情報をご覧ください。採用情報プライバシーポリシークラウド導入のご相談、お見積り、サービスについてのご質問などお気軽にお問い合わせください。最新情報が得られるメルマガ登録はこちら。