南カリフォルニア大学などの研究チームは自然言語処理が近年発展しているものの、AIにはまだ、妥当な文の作成に必要な常識に欠けていることを実証した。公開[@IT]この記事は会員限定です。会員登録(無料)すると全てご覧いただけます。南カリフォルニア大学は2020年11月16日、現時点のAI(人工知能)による自然言語処理(NLP)には限界があり、妥当な文の作成に必要な常識に欠けていることを実証した。同大学のコンピュータサイエンス学部助教のシャン・レン氏と博士課程の学生ユーチェン・リン氏などの研究チームは、研究の狙いを次のように説明している。「現在の機械テキスト生成モデルは、多くの人を納得させる記事を書くことができる。基本的にはトレーニング段階で入力されたものを模倣しているにすぎない。われわれの論文では、最新のテキスト生成モデルが日常生活の自然なシナリオを記述した文を作り上げることができるかどうかという問題を取り上げた」(リン氏)「犬」や「フリスビー」「投げる」といったごく簡単な単語を用いて、理にかなった文章を生成できるかどうかを調べたものの、結果は良くなかった(出典:南カリフォルニア大学)AI研究者にとって、AIに常識推論(世界についての基本的な知識を用いて推論する)能力を持たせることは長年の課題だった。図の例では人がフリスビーを投げ、犬がキャッチするというのが常識だ。犬同士でフリスビーを投げ合うことはない。最新の深層学習モデルは、90%程度の精度を達成できるようになっており、NLPはこの目標に近づいているように見える。研究チームは、独自に開発したテキスト生成タスクを用いて、機械モデルの常識推論能力をテストした。「人間は自分を取り巻く環境の中で認識する一般的な概念を理解し、活用することを学ぶ中で、文を作る能力を獲得する。文を作る能力の獲得は、人間が幼児から大人に向かって発達する際の大きなマイルストーンと考えられている。機械が本当に獲得できるかどうかをテストしようとした」(リン氏)3万以上の概念と7万以上の文をまず学習させた研究チームはさまざまな機械モデルを評価するために、「CommonGen」と呼ばれる制約付きテキスト生成タスクを開発し、機械の生成的常識をテストするベンチマークとして使用した。3万5141の概念と7万7449の文から成るデータセットを用意し、テキスト生成モデルにこれを学習させた。CommonGenタスクは、一般的な概念の組み合わせを用いて、日常的なシナリオを記述した理にかなった文を生成するというものだ。it」(男がフリスビーを投げ、飼い犬がそれをキャッチする)といった文を生成することだ。CommonGenタスクのような課題は2種類の能力を要求するため難しい。常識的知識に基づく関係推論能力と、見たことのない概念の組み合わせを扱う構成的一般化の能力が必要となるからだ。人の能力と比較するとかなり見劣りがする最新のテキスト生成モデルを10種類以上選び、CommonGenタスクを処理させたところ、最も好成績を収めたモデルでも、精度は31.6%にとどまり、人間の63.5%とは大きな開きがあった。2.3」に合わせてライブラリを再設計した。Fire」をGitHubで公開した。従来のライブラリよりも高速で、例えばPythonから容易に利用できる。言葉を理解して情報を抽出して識別や未来予測をすること(認識モデル)、もしくは会話文章などを生成すること(生成モデル)を指す。メールマガジンをご購読ください。申し込みページへITmediaはアイティメディア株式会社の登録商標です。