2023の21日の記事である。Generation(RAG)の重要性の高まりを感じる。Examでは、上位解放の全てでRAGが使われている。RAGのコア要素の一つである、質問文などの対象文章をうまく表現した文章を取得する検索方法として、主な方法にBM25等のキーワードベースの検索や文の特徴量(embeddings)からのベクトル検索がある。第1回コンペティション(すでに終了済み)の課題を解き、どれぐらいのスコアが出るのかを確認する。複数の日本語embeddingsへの変換モデルを使うことで、それらの評価も行なっている。第一回コンペとは、質問に対して約20個の候補から、回答となる一つを選択するコンペだ。train用に約13,000件、val用に約2,000件データが公開されている。クイズの回答は、必ず日本語wikipediaに含まれている。データセット例はこのような形である。そのデータに対し、20個の候補の文字列の最初の登場位置を抽出し、最も登場位置が先頭なものを正解予想とする。先ほどの例なら、「1868年に化石が発見された南フランスの地名から名が付いた、現在の人類の直接的な祖先とされる化石人類は何でしょう?」をembeddingsに変換して、ベクトル検索でTop-N(以下の例はTop-3)を取り出し、一つのテキストに結合する。そのため、180万年前から150万年前と推測されるその時期、東アフリカではヒト属が優勢になっていたのに対し、南アフリカで優勢だったのはパラントロプス属の方だったのだろうと考えられている。場所にある遺跡で、1948年には探索が行われていたが、化石人骨の出土は1992年になってのことだった。手前で脇に逸れ、グーグル・アースで見当をつけていた近隣の石灰石採掘場跡に赴いた。その場所で彼は9歳の息子マシューとともに、新種の猿人化石を発見した。man)とは、南フランスで発見された人類化石に付けられた名称である。洞窟で、鉄道工事に際して5体の人骨化石が出土し、古生物学者ルイ・ラルテ(フランス語版、英語版)によって研究された。その後、ヨーロッパ、北アフリカ各地でも発見された。ある)、クロマニョン人に代表される現代型ホモ・サピエンスを、従来の日本語では新人と呼ぶこともある。man)は、現在ではすでに化石化してその人骨が発見される過去の人類。人類の進化を考察していくうえで重要な化石資料となる。資料そのものは化石人骨(かせきじんこつ)とも称する。更新世人類ないし洪積世人類とも称する。このテキストから、先ほどの回答候補で探索して、最初に登場したものを答えとする。この中では「クロマニョン人」が正解予想となる。正解は「クロマニョン人」なので、この場合は正解予想と真の正解が一致するので、正解となる。dev2)用のデータ約2000件を使って正解率で評価した。変換するモデルとして、以下を利用した。つけることで異なったembeddingsが生成されるので、両方のデータを試した。意識するの値を用いると、圧縮しなかった場合に比べTop-3では+=2%、Top-5では+=0.5%ほど回答精度に揺らぎが発生している可能性がある。参考に、trainの13,000件のデータの評価別シートに記載してある。評価に使ったコードhttps://github.com/hotchpotch/wikipedia-passages-jawiki-embeddings-utils/blob/main/eval_jaqket_v1/eval_jacket_v1.pyスコアまとめhttps://docs.google.com/spreadsheets/d/1eSYzxzIfN3uMIpFKDGCTQsIxuWYELBtD49LQbl88GUE/edit?usp=sharingTop-1,3,5,10,20...どのケースにおいても、multilingual-e5-largeが圧勝である。正解率が7%前後も違うもなるとだいぶ変わってくる。接頭語に使った時の差がbase以外はほとんどないこと。いうかbase以外は結果がほぼ逆転している。方がスコアが良いと思っていたがそんなことなかった。この結果だけ見ると、RAG検索におけるe5でのembeddings変換は類似文章タスクでも使える、汎化性能が高いquery:の方を用いれば良い、と思えてしまう。passage@2という順序で文字結合している)の差で、Nが増えるほど間違ったタイトルにマッチしてしまう可能性が高まるからで。学習なし、前処理・後処理もしていないベクトル検索+単純な探索のみとしては、なかなかのスコアなのではなかろうか。今は確認できないが、当初公開されていたベースラインのBERTにファインチューニングして解いたスコアは0.8前後とのことで、学習なしの検索で0.78の精度が出るなら悪くないと感じている。おわりに今回は、AI王クイズ第一回コンペにベクトル検索のみで挑戦してみた。Learningで望んだ結果を出力する技術は、今後LLMが外部知識の追加学習を低コストで実現でき、かつハルシネーションがほぼなくなるような状況になるまで続くと思われる。Learningが再度出題される可能性はあるであろう。JSICKなど)ケースもあるし、取り組みたい課題・データに対して適切な性能評価をする必要がありそうだ。活用・選択の参考になれば幸いである。モデルである、text-embedding-3-smallとtext-embedding-3-largeが公開された。2023の12月4日の記事である。2023の12月4日の記事である。ファミリーを作りました。小さいモデルから大きなモデルまで揃っています。ファミリーを作りました。ソフトウェアエンジニア。ニックネームを利用している。おたよりを送るおたよりをおまちしてます。お気軽に送りください。お返事はメールアドレス入力があればメールで、メールアドレスがなければ日記上で行うことがあります。プライバシーポリシーおよび利用規約が適用され、保護されています。