モデルである、text-embedding-3-smallとtext-embedding-3-largeが公開された。text-embedding-3-smallは、古いembeddingsモデルのada-v2よりも価格は1/5に、かつ性能は向上しているとのこと。OpenAIの記事によると、MTEBの評価は少々スコアが上がり、特筆すべきはMIRACLの方は大幅にスコアの向上が見られる。Languages)は名前の通り、多言語での情報検索タスクで、このスコアが大幅に上がったということは、日本語での情報検索タスクの精度向上にも期待が持てる。タスクで評価というわけで早速評価してみる。Q&Aタスクでの複数の日本語embeddingsの評価と同じ方法で、約550万件のPassageからベクトル検索して回答が含まれるかを調べるタスク。いわゆるRAG検索で適切な回答を含む文章を発見できるか、を調べる。叩くときに512次元になるようなオプションを渡して次元削減された結果を使っているので、次元削減される前の1536次元のデータを使うと少々のスコアは向上すると思う。シリーズがQ&A的な情報検索タスクでは圧倒的に高い、という結果になった。強みはロングトークンがembeddings化できることにも思える(今回使ったpassageは日本語400文字以下)し、次元削減しなかったらもうちょっとスコアは上がっている気もする。これが以前なら5倍費用がかかったので試す気にならなかったのだけど、これぐらいならまぁ個人でも...、という費用感である。2023の21日の記事である。Generation(RAG)の重要性の高まりを感じる。2023の21日の記事である。2023の12月4日の記事である。2023の12月4日の記事である。文章検索用途で高性能なSPLADE(スパースベクトル)モデルの日本語版を作成し、公開しました。multilingual-e5-large、r...文章検索用途で高性能なSPLADE(スパースベクトル)モデルの日本語版を作成し、公開しました。ソフトウェアエンジニア。ニックネームを利用している。おたよりを送るおたよりをおまちしてます。お気軽に送りください。お返事はメールアドレス入力があればメールで、メールアドレスがなければ日記上で行うことがあります。プライバシーポリシーおよび利用規約が適用され、保護されています。