OpeningsContactRecruitJOURNALについてデータアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログでは、研究活動で得られた知見や検証結果についての情報を発信します。本ブログで提供される情報は、可能な限り正確かつ最新の情報であるように努めますが、必ずしもその正確性を保証することはできません。場合によっては誤情報が含まれたり、最新の情報ではない可能性もあります。ご了承いただけますようお願い申し上げます。ハルシネーション比較おわりに参考オウンドメディアも運営していますはじめにデータソリューション事業部の関田です。いう論文について解説します。従来のTransformerとの違いや優位性について紹介していきます。具体的な変更点を理解するためには、従来のTransformerを理解していることが要求されます。専門的な知識が無くても、大雑把なイメージや、各種Transformerをベースとした言語モデルの性能比較の理解は可能ですので、参考にしていただけると幸いです。従来のTransformerの核であるAttention機構を改良したアーキテクチャです。Scoreが小さく付与されるようになりました。この改良は言語モデルにおいて次のような利点を生み出します。情報検索の精度向上ハルシネーションの低減モデルサイズの削減それでは、詳細を解説していきます。従来のTransformerまずは従来のTransformerおよびAttention機構について、簡単に振り返ります。2017))従来のTransformerは、図1左側のような全体像となっています。Attention機構は図1右側のように構成されています。Scoreを計算します。KeyベクトルとQueryベクトルの次元を表します。Scoreというのは図2のようなイメージです。Scoreが大きくなります。このAttention機構を携えたTransformerの登場以来、言語モデルをはじめとする多くの深層学習モデルがTransformerをベースとして開発されています。AttentionTransformerの台頭により言語モデルは昨今凄まじい進化を遂げていますが、情報検索の精度、ハルシネーション、巨大なモデルサイズなどの課題は依然として指摘されています。Transformerは従来のAttention機構を改良することによって上記のような課題を改善するアーキテクチャとして提案されています。従来のAttentionと置き換えます。次元Queryベクトルです。次元のValueベクトルです。AttentionではQueryベクトルとKeyベクトルが2つずつ生成されます。学習可能なパラメータです。Scoreの差を考えること」であることがわかります。これはヘッドホンのノイズキャンセリング機能などと同じ発想であり、逆位相の波を重ね合わせて余分な要素を打ち消し合っているイメージです。続く標準化およびデータ結合の処理でも工夫がなされています。Transformerでは同じハイパーパラメータを用いることが可能となっています。Transformerに置き換えるだけで新たなモデル作成が可能です。Noise”を軽減することです。Scoreが付与されてしまうことです。Scoreが相対的に大きくなりにくくなり、情報検索の精度低下などの課題につながります。Scoreを算出しその差を計算しています。これにより、2つのAttention計算で共通して生じるnoiseが打ち消し合うのです。Noiseの比較(左、中央)および情報検索の精度の比較(右)です。Scoreが0.03となっており、他の情報に対してあまり大きな値となっていません。Scoreよりも大きくなっています。Noiseに比べて約15倍も大きな値になっています。Transformerでは85%にまで向上しています。Transformer論文中では大きく8つの検証がされていますが、ここではそのうちの4つをご紹介します。Transformerベースの言語モデルの一般的な性能を比較します。それぞれ3Bサイズの言語モデルを350Bトークンで訓練し、各種ベンチマークのスコアを算出しています。Transformerの違い以外にモデル構成やハイパーパラメータの違いはありません。3.1節および付録Bをご参照ください。7つのベンチマークに対して、zero-shotおよびfew-shotでの各モデルの結果は図5の通りです。Transformerが従来のTransformerを上回っていることがわかります。言語モデルのパラメータ数と訓練に用いるトークン数をそれぞれ大きくしていき、サイズごとの性能(Loss)を比較します。Transformerでも同様の設定のモデルで実験を行います。結果は図6の通りです。本記事の4.1節で挙げた3Bモデルに対して、訓練トークン数を40Bから360Bまで大きくした結果を表します。Transformerは従来のTransformerに比べて小さなモデルサイズで同等の性能を出すことがいえます。具体的には、以下のような値が算出されています。用いて情報検索の精度を比較します。情報検索タスクの内容は、数字と都市名を紐づける文章が用意され、それをもとにクエリで与えられた都市名と紐づく数字を答えるというものです。与える文章の長さやクエリの数を変更して実験しています。文章の長さが4Kの場合の結果は図7の通りです。クエリで与えられた都市数(答えるべき数字の数)です。大きいと、余計な情報が増えて難しいタスクとなります。Transformerの方が高性能といえます。Transformerモデルでは高精度を維持しています。場合では精度に30%もの差が生じています。文章がさらに長い場合の結果は図8の通りです。Transformerの結果を表しています。各図の横軸は文章の長さ、縦軸は正解位置の文章中の位置であり、各長さ、位置に対応する精度が記載されています。Transformerの方が高精度であり、かつ、文章の長さや情報抽出位置に対する精度の依存度が小さいことがわかります。Transformerの方が76%も精度が高いという結果となりました。Noiseについても比較します。100%というのは、図8と同様に正解位置を表します。Noiseは約25倍から50倍小さいことが確認できます。本記事の4.1節で挙げた3Bモデルで要約と質疑応答タスクを行い、ハルシネーションについて評価・比較を行います。結果は図10の通りです。質疑応答の正答率を表しています。それぞれ3つのデータセットを用いて評価を行っています。Transformerは従来のTransformerに比べて高い正答率を出しました。TransformerはTransformerに比べて与えられた文章から得られる情報をより正確に出力し、ハルシネーションを低減していることがいえます。Transformerという新たなアーキテクチャを提案する論文を紹介しました。Transformerが今後注目を浴びていくことは想像に難くないでしょう。言語モデルをはじめとする生成AIのこれからには目が離せません。(dalab.jp)この記事がよかったらシェアしてください。