Startedの内容をベースとし、データセットとしてchiVeを利用したチュートリアルです。Valdは、Kubernetes上で動作する高速近似近傍密ベクトル検索エンジンです。クラウドネイティブアーキテクチャに基づいて設計されており、分散IndexによりBillionスケールのベクトルを扱うことができます。Valdの主な特徴としては、以下が挙げられます。Volumeや外部ストレージ(S3互換)を利用したauto-backup機能フィルタリングのカスタマイズユーザーニーズに合わせたスケールアウト・柔軟なカスタマイズ分散Indexing本投稿では、ValdのチュートリアルとchiVeを利用したデモの実行を行います。本チュートリアルを進めるにあたり必要な依存について列挙します。必要に応じて、準備してください。clusterの構築を行います。cluster-infometrics-serverのdeployValdでは、merics-serverを利用してPodのリソース状況を取得しているため、metrics-serverを準備します。repositoryにあるサンプル設定ファイルを利用してdeploymentを行います。vald設定ファイルの編集chiVeのデモを行うために、設定ファイル(./example/helm/values.yaml)を編集します。ingressを利用する場合はtrueに設定し、必要に応じてannotationを追加してください。clusterを構築します。実際にdeployされているかどうか確認してみましょう。Datasetを利用したデモValdでは、デモリポジトリを公開しています。https://github.com/vdaas/vald-demo本sectionでは、その中からchiVeを利用した類似検索を行います。事前準備(demo)リポジトリをクローンします。vald-demo/chiveデモで利用するデータを事前にDownloadします。cluster)port-forwardを行い、clientからrequestが可能な状態にします。!vald-lb-gatewayでingress設定をしている場合は不要です。0.0.0.0コンテナの実行!Magnitudeの互換性により、python-3.7.6を指定して実行しています。Notebookへアクセスできます。http://localhost:8888/tokenの入力が求められるので、CLIに表示されているtokenを入力すると下記の画面に遷移できます。directoryに移動するとマウントされているファイルが表示されていることがわかります。directorytutorial.ipynbを選択すると、別タブでNotebookが開きます。あとは、Notebookを手順通り進めれば完了です。!適宜、環境に応じて設定するパラメータがあります。コメントに沿って、進めてください。Datasetを用いた類似検索のデモをチュートリアル形式で行いました。各コンポーネントの解説や設定については、下記ドキュメントを参考にしてください。WSに投稿してください。https://join.slack.com/t/vald-community/shared_invite/zt-db2ky9o4-R_9p2sVp8xRwztVa8gfnPAMediumでblog(英語)を公開しているので、こちらも是非ご覧ください。https://medium.com/@vdaas-vald公式X(Twitter)アカウントはこちらhttps://twitter.com/vdaas_valdValdの関連記事https://techblog.yahoo.co.jp/entry/2021061430159867/valdvald.vdaas.orgバッジを贈って著者を応援しようバッジを受け取った著者にはZennから現金やAmazonギフトカードが還元されます。Proよくある質問LinksX(Twitter)GitHubメディアキットLegal利用規約プライバシーポリシ。