Embeddingを用いたindexの仕組みを解説します。エンジニアの方やLLMを利用したシステム開発を行いたい方に有用な記事となっていますので、ぜひ読んで理解してみてください。まとめLLM開発におけるindexとはあらかじめシステムに情報を用意しておき、ユーザーの入力に応じて抜粋した情報と合わせてプロンプトとしてLLMにわたす手法のことです。indexの構造にはここで紹介するものに限らず、バリエーションがあります。Embeddingとはテキストをベクトルに変換することです。適切にベクトルに変換することで、テキスト同士の類似性を計算することができるようになります。膨大な情報からあるテキストに一致する情報を検索したり、テキストを分類することができたりします。Embeddingやベクトル同士の類似度の計算にもバリエーションがあります。Embeddingを用いたLLM開発におけるindexの仕組み1.概要2.準備1ドキュメントをいくつかのまとまり(Chunk)に分ける2ChunkをEmbeddingしてベクトルにする3ベクトルとChunkの組をシステムに保存3.プロンプトを作成する1ユーザーからの質問をEmbeddingしやすいように加工する2加工したものをEmbeddingする3ユーザーからの入力のベクトルから、あらかじめ保存しておいたベクトルに近いものを選ぶ4探したベクトルに対応するChunkと、ユーザーの質問を合わせて新しいプロンプトを作る。5新しいプロンプトをLLMにわたす。Embeddingを用いたindexについて解説してまいりました。この手法を使うことで、特定の情報に特化させたLLMシステムを開発することができます。ここで紹介したものはあくまで1例です。応用することで、様々なシステム開発に応用することができるでしょう。AI、プロンプトエンジニア専門誌『PROMPTY』編集部です。PROMPTYではChatGPTをはじめとした生成AIにおけるプロンプトエンジニアリングのノウハウや、海外情報や国内最新情報をご紹介します。