Serviceをベクターデータベースとして使用する方法についての紹介セッションはじめに検索エンジンは、データ量が多くなり、次元が高くなるにつれて、単純な類義語検索のレベルを超えて、様々な検索方法やデータ保存方法などが発展してきました。AIが脚光を浴びている昨今、ベクトルベースの検索エンジンの使用が可能なOpenSearchへの関心が高まっている状況で、検索性能を高めることができる方法論について確認することができると期待しています。検索エンジンは、ユーザーに目的に合った情報にたどり着くための経路を提供します。検索された項目がユーザーの意図と一致する場合、関連性があると見なされます。関連性のある結果の検索には、カタログにデータが存在するかどうか、データの分析方法、テキストやベクトル表現、ランキング機能、その他の操作が含まれます。Serviceをベクターデータベースとして使用する方法を学び、ユーザーが最も関連性の高い結果を得るためにどのように役立つかを学びます。機械学習(ML)のブーム最近、優れた基本的なNLPを提供する大規模な言語モデル(LLM)が生まれ始め、チャットボットサービスがこのような専門分野の認知度を高めるきっかけとなりました。セマンティックとは、検索技術の一つで、テキストの意味を理解し、キャプチャして検索結果の精度を向上させる技術です。大規模言語モデル(LLM)は、テキストをベクトルに変換してセマンティック情報をキャプチャします。これは、テキストの意味、文脈、概念を含みます。Searchは、このようなベクトルベースのSemantic検索をサポートし、検索結果のSemantic一致率を向上させます。ベクトル化された自然言語テキストを使用して、検索クエリとデータ間のSemantic一致を測定し、検索結果をより正確に提供します。Searchはサーバーレスオプションを提供し、サーバー管理やインデックス戦略について心配することなく機能を使用できるようにします。Searchがそのデータに対するインデックスを生成し、ユーザーはクエリを介してそのデータを検索し、結果を取得することができます。効率的な検索のためにそのデータに対するインデックスを生成します。セマンティック検索:ベクトル化された自然言語テキストを使用してセマンティック検索を行い、検索結果をテキスト対テキストの一致ではなく、ベクトル空間での意味的類似性を考慮して提供します。Searchは、ログデータを収集して可視化ダッシュボードに出力することで、インフラ、アプリケーション、セキュリティなどのリアルタイムモニタリングをサポートします。Searchは、様々な統合および機能拡張を提供し、データを効率的にクエリしてモニタリングするのに役立ちます。SearchはJSONのすべてのフィールドをインデックス化して検索可能にします。インデックス自体はデータのパーティションのためのシャード(shard)で構成されます。基本シャードを指定すると、データを小さなシャードにランダムに分散させます。そのデータに対する検索を実行する際、KNN検索方法が活用され、データポイント数が数十億件に達する場合、ANN検索が適用されます。Partyモデルに対するコネクタを提供し、Bedrock、Claude、CohereなどのLLMモデルとの連動が可能です。Partyモデルホスティングシステムに渡すと、拡張された文書がベクトル化され、OpenSearchでエンベデッドしてインデックス化されます。検索のためのユーザークエリが実行されると、インデックス作成と同じ過程を経てクエリ値がエンベッディングが生成され、エンベッディング値に基づいてKNN指数を評価し、検索結果を導き出して配信します。して使用することで得た教訓すべてのインフラを自動的に構築することができ、インデックス管理、検索、バックアップなどの機能を簡単に活用することができます。Query機能の適切な活用が必要です。Query機能は、Sementic検索方法とLexical検索方法を並行して活用する方法です。各手法には長所と短所があり、状況や環境によって異なる性能を発揮することができるので、各手法の重み付けを調整することで検索性能を向上させる努力が必要です。現在、特定の圧縮方式に対する圧縮率程度の調整しかできないため、様々な形態の圧縮方式を選択することができず、設定が難しい側面があるため、様々な圧縮方式をサポートすれば、検索効率を高めるための様々な試みが可能になると思われます。ベクトル検索時、全体次元に対するアプローチにより、メモリを非効率的に使用しなければならない状況であるため、サブセットを構成して検索する機能を提供することで、メモリ効率及び検索性能を向上させることができると期待しています。Frameworkを導入することで、ユーザー定義モデルをアップロードして使用できるようにすることで、各ユーザー環境に合わせて性能向上ができるように支援が必要です。セッションを終えてOpenSearchがGenAIを活用したLLMモデル活用の中心で、ベクトルDBおよびRAGとしての活用度が高まっている状況で、各環境に応じた性能向上技法と限界点などについて確認することができました。現在も継続的に進化しているサービスであるため、ユーザーとしてその進化の方向と内容に貢献するために積極的な使用とフィードバックが重要であることを知ることができ、このようなintercativeな参加が最終的に業務遂行時の効果及び効率向上に役立つと期待されます。