関連サイトお問合せ閉じるHOMEブログChatGPTは言葉を理解しているのかBLOGブログChatGPTは言葉を理解しているのかChatGPTは、大量のドキュメントを用いて訓練された大規模自然言語モデルです。Modeling(MLM)という手法によって、人間の手を煩わすことなく大量データかつ大規模モデルを訓練することが可能となりました。様々な自然言語処理に関するタスクにおいて、MLMで事前訓練されたモデルが成果を出しています。ChatGPTでは、タスクに合わせたFine-Tuning(モデルの再訓練)を必要とせず、Prompt(ChatGPTへの質問文)の工夫をするだけで、様々なタスクに対してZero-shot(タスクの質問回答例を1個も用意しないよう)な回答を行うことができます。それに加え、多くの分野の質問に詳細に答えることができるという点で非常に注目されています。ChatGPTが情報分野の関係者のみならず、一般大衆に広く膾炙した要因の一つとして、受け答えが人間が書いたものと容易に区別が付かないほど自然である、というものがあると思います。このことから、「ChatGPTは日本語や英語を母語話者(いわゆるネイティブのこと)並みに理解している」と思った人も多いと思いますが、本当にそうなのでしょうか。ChatGPTは、大量のデータから学習したパターンをもとに、受け取ったPromptに続く可能性の高いテキストを生成している、という仕組みです。人間も今までの経験をもとに、その場その場で適切な返答を選んでいるため、ある意味人間と似た仕組みだと言えるかもしれません。仕組みが似ていて、返す返答が自然だからと言って、「ChatGPTは日本語や英語を母語話者並みに理解している」というのは早計です。実験ChatGPTに以下のように聞いてみます。「今、雨が降っていますか」という質問に対する次の返答が日本語として自然であるか判定してください。日本語が母語の人は考えてみてほしいのですが、もしこの問題を出されたらどう答えますか。ほとんどの人は3が不自然で1,2,4が自然と答えると思います。―⊶否定辞「ない」と助詞「は」を中心として――)から持ってきた例です。)もし、ChatGPTが日本語母語話者と同じように言語を理解しているとしたら、同じように答えるはずです。2023年9月25日版のChatGPT-4は以下のように返答しました。「今、雨が降っていますか」という質問に対する返答の判定は以下の通りです。これは自然な日本語です。これも自然な日本語ですが、文脈によっては「は」を使うことで前の文や状況との関連を示すニュアンスが含まれる場合があります。これは自然な日本語です。これも自然な日本語ですが、同じく「は」を使うことで前の文や状況との関連を示すニュアンスが含まれる場合があります。結論として、すべての返答は自然な日本語ですが、2と4の「は」の使用は文脈やニュアンスによって異なる解釈がされる可能性があります。1と2の間にニュアンスの違いがあると判定しましたが、3が不自然であるとは判定しませんでした。日本語の「が」と「は」はChatGPTが学習したデータセットにも多く登場すると思われますが、どちらも同じような箇所に登場するため、違いを学習できなかったのかもしれません。英語でも実験してみます。Parser)から持ってきた例文で試してみます。John.と聞いてみます。論文によるとこちらの正解は文法的で自然に聞こえる文法的だが不自然に聞こえる非文法的で不自然に聞こえる非文法的だが自然に聞こえる文法的で自然に聞こえる文法的だが不自然に聞こえる非文法的で不自然に聞こえる非文法的だが自然に聞こえるです。非文法的だが自然に聞こえるというのは、母語話者はあまり違和感は感じないが、意味を取ろうとすると動詞と主語の対応がおかしいなどの理由で意味が取れないというものです。ChatGPTは以下のように返答しました。natural.1,2,3,6,7が正解で、4,5,8は誤答でした。5と8については文法的か否かと自然に聞こえるか否かの両方を間違えてしまっています。8についてはChatGPTは勝手に単語(is)を加えて意味のある文にしており、非文法的だと気づいていませんが、母語話者は意味を取ろうとしても非文法的であることに気づいて意味が取れないため、母語話者とは違うやり方で文を捉えていることになります。共通語ではないが、日本語母語話者なら類推で意味が分かりそうな文章の意味を聞いてみます。津軽弁の交通安全標語に小学生の新作4作)です。津軽弁の文章の意味の解説はできますか?はい、津軽弁の文章の意味の解説はできます。まいはんで」を解説してください。まいはんで」という津軽弁のフレーズに関して、以下にその意味を解説します。標準語で「何しているの」や「何をしているの」を意味します。標準語で「車を見ている」という意味になります。標準語で「毎日」という意味です。したがって、このフレーズ全体での意味は、「毎日、何をしているの?車を見ているの?」となります。ダメでしょう」という意味だと類推できると思いますが、ChatGPTはその部分を共通語とは違う意味だと解釈しています。「津軽弁を解説できる」とはっきり答えながら、かなり的外れなことを言っています。ChatGPTは間違っている場合や失敗した場合に不利益を被るといったことが存在しないため、「できる」とはどういうことなのか認識していないのかもしれません。こんな実験をしたのかなぜこのような重箱の隅をつつくような真似をするのかと思うかもしれませんが、実は、ChatGPT等の自然言語モデルの存在および仕組み自体ががある学問の進展に大きく寄与する可能性を秘めており、非常に興味深いからです。言語学という人間の言葉を研究する学問があります。その中でも、生成言語学と認知言語学という、人間がどのように母語を習得するのかを研究する分野があります。普遍文法などというものではなく、人間に備わっている、物事を知覚して解釈する認知能力を利用することで言語を習得するという仮説に基づいています。この2つの分野は互いにどちらの仮説が正しいかについて数十年間論争を繰り広げてきました。ChatGPTの登場は、この論争のターニングポイントとなりました。普遍文法を仮定せずとも、インプットを大量に与えれば、言語を話せるようになるという証拠を与えたからです。これで認知言語学側の完全勝利かというと、そういうわけではありません。人間が母語を習得する際に得るインプットはChatGPTの訓練データセットよりも少ないですし、上で見たように、人間とは言葉の捉え方が異なる点があるようなので、人間の母語習得の仕組みがChatGPTによって再現されたとはみなせないからです。今後、これらの人間との相違点が解消されれば、その時は認知言語学が正しかったという結論が出る可能性はあります。今後もChatGPTを含む大規模言語モデルの発展に注目していきます。