大量の文字情報から新しいことを発見する技術。大量の文字情報から新しいことを発見する技術。2021年5月13日SNSやブログ、口コミ、小説や文献など、私たちの身の回りにはたくさんの文字情報(テキストデータ)が溢(あふ)れています。その膨大なテキストデータから、新たな知見、発見を見いだそうというのが、『テキストマイニング』です。データサイエンスの領域として、マーケティングなどのビジネスだけでなく、研究でも活用が始まっているテキストマイニングについて解説します。Contentsテキストマイニングとは?テキストマイニングの応用例テキストマイニングで使われている技術テキストマイニングを扱う大学の学部、学科テキストマイニングとは?テキストマイニングとは、膨大なテキストデータ(文字情報)を分析して、そこから新たな知見、発見をする技術であり、データサイエンスの一分野です。より「数理・データサイエンス・AI教育プログラム認定制度」がスタートしていることからわかるように、データサイエンスは日本の大学がこれから重点的に強化していこうとしている分野です。分析といえば、Excelのようなツールを使って項目ごとにデータを整理して、集計したりグラフ化したりして行っていました。そのように項目ごとに整理されたテキストは、「構造化されたデータ」になります。さまざまなものは「非構造化されたデータ」です。この種の構造化されていないデータを分析に回すのは至難の業でした。「ビッグデータ」という言葉に象徴されるように、今はデータが大量に生産されている時代です。中には、インターネット上の多種多様、かつ構造化されていない情報を、ビッグデータとして分析して、新しいビジネスに生かそうという動きも起こっています。困難だった非構造化データの分析が可能にでは、これら非構造化されたテキストデータを分析するにはどうすればいいのでしょうか。「SNSにある膨大な書き込みから、何らかの傾向を見いだしたい」という分析を行うのに、Excelに整理して集計しようとしたら、とんでもない作業になるのは明らかであり、現実的ではありません。(AI)などのICT技術を駆使して分析するのがテキストマイニングという手法です。テキストマイニングの応用例テキストマイニングは、すでに多くのビジネスで活用されています。いくつか例を紹介しましょう。アンケートなどのテキストデータを対象に、人々の好みや傾向を分析します。時系列で傾向の変化を調べることも可能です。特定のサービスや商品の認知度や評価を調べたり、世の中のトレンドを調査したり、隠れたニーズを探し出したりするのに活用されています。コールセンターの効率化コールセンターは、利用者からの電話による問い合わせに、オペレーターが答えるサービスであり、問い合わせに対して的確に、かつスピーディーに答えていかなくてはいけません。回答に時間をかけて待たせていては利用者の満足度が下がってしまいます。そこにテキストマイニングが活用され始めています。過去の問い合わせのデータをもとに、「この種類の問い合わせには、このような回答が適している」というデータを、スコア付きでオペレーターに提示します。オペレーターはそれを確認しながら回答に役立てることで、迅速に対応できるようになります。裁判では、過去の裁判における判決である判決を踏まえて、現在行われている裁判の量刑を決めていきます。重要な資料となります。その分析にテキストマイニングが活用できます。他にも、サービスや製品のクレーム情報から隠れていたユーザーのニーズを探し出したり、医療や福祉などの現場報告から改善点を見つけたりなど、さまざまな活用が始まっています。テキストマイニングで使われている技術テキストマイニングは、どのような技術、手法を使って分析するのでしょうか。利用するツールによって機能や分析手法は異なりますが、代表的な技術や手法を紹介します。ツールによって使われる技術に違いがありますが、基本的には分析の前にテキストデータに対して形態素解析や構文分析という処理を行います。いうのも、構造化されていない自然な文章をそのままコンピューターで分析できるわけではないからです。形態素とは、文章を構成する最小単位のことです。ある」というように単語、品詞ごとに分解していきます。テキストマイニングでは、このように文章を分解した形態素、また、主語-述語といった構文などを踏まえて分析することになります。話題を見つける「ワードクラウド」よく使われる単語の頻出度合いを調べる手法です。頻出度の高いものを大きく目立つように、低いものを小さく表示することで、よく使われる言葉の傾向を見ることができます。はやっている言葉、話題にされているテーマなどを探すのに向いています。相関関係から意図や背景を探る「共起ネットワーク分析」ある言葉に関連する言葉の群を分析することで、背景を探すのが共起ネットワーク分析です。ある商品に対する評価をSNSで調べるとします。さまざまな言葉が挙げられます。どの言葉と強く関連しているかを調べることによって、そのテーマが扱われている背景や傾向を見ることができます。このように関連して使われる言葉などを含めて、分析するのが共起ネットワーク分析です。感情を分析する「センチメント分析」SNSやブログなどに書き込まれた文章から、感情を分析する手法です。「良い」「楽しい」「うれしい」「好き」などはポジティブ、「嫌い」「悲しい」「まずい」などはネガティブと評価するというように分類して、ポジティブかネガティブか、あるいはどちらでもないかを分析します。人気調査にも利用できます。大学の研究で過去の論文、文献資料を調べたり、膨大な調査資料を分析することは昔から行われていました。法学部では法律はもちろん、過去の判例を探すこともあるでしょう。古典文学の研究では、膨大な古典作品を調べていきます。理工系でも、新しい技術を用いた製品を開発する際には、特許について調べなくてはいけません。それは文系、理系を問わず、どのような学部、学科でも同じであり、過去の膨大なテキストデータを分析することは大学では珍しいことではありません。そこにテキストマイニングの手法を活用することで、新たな発見につながることもあるでしょう。「数理・データサイエンス・AI教育プログラム認定制度」に基づいてさまざまな大学がデータサイエンスに関する新しい学びを始めていますし、これからも増えてくるでしょう。テキストマイニングそのものに興味があるなら、この制度に認定されている大学を目指すのもよいでしょう。注目の研究テーマDNAでナノマシンをつくる【DNAオリガミ】の研究。【犯罪心理学】の研究で安全な社会を目指して【重力】最弱にして最強の宇宙の支配者。繁栄を繰り返してきた生物の歴史。大量の文字情報から新しいことを発見する技術。「スタディラボ」は、その研究内容をわかりやすく紹介するサイトです。