Pythonsugi【コード公開】【Python】テキストマイニングしてみた〜モデル作成〜ツイートシェアはてブ送るPocketTweet独学に限界を感じたなら...とりあえず独学でプログラミング学習を始めたけど、右も左も分からずあなたの時間が無駄に終わるどころか挫折するかもしれません。『PyQTM(パイキュー)』Word2Vecについてこの記事を読み進める前に、よりテキストマイニングの内容を理解したい方は、下記のURLにてチェックしてみてください。【Python】テキストマイニングとは〜データマイニングの重要性〜2018.03.28「Word2Vec」とは、文章中の語句をベクトルに変換するツールです。単語同士の繋がりに基づいて単語同士の関係性をベクトル化するわけです。ツール名通り、単語をベクトルとして表現することで、その単語の意味を捕らえる手法となります。語句と語句の類似度を測ることができるわけですね。GensimとインストールについてWord2Vecを実現するツールとして、いくつか挙げられるライブラリがあります。今回は、実行速度が速く、Pythonから手軽に利用できるものを考えると、「Gensim」ライブラリを使いたいと思います。この「Gensim」は、自然言語処理のためのライブラリです。テキスト処理のための多くの機能を備えており、Word2Vec機能も備えています。「Gensim」はのインストールは、pipコマンド一発でインストール可能です。テキストマイニングを試しに行ってみたい方は利用してみてください。以下にインストールのコマンドを記載します。今回は、model-making.pyとword2vec.pyの二つのファイルを作成します。それぞれに行うプログラムを記載して説明していきます。re1では、今回のテキストマイニングに必要なライブラリとして、python解析器janomeとベクトル変換ツールword2vecをインポートします。テキスト一行ごとに処理を行う(データクレンジング)ため、正規表現マッチング操作を提供しているreもついでにインポートしておきます。bindata2では、任意で用意しておいたテキストファイル(何か文章を入力してあるファイル)を読み込みます。[]3では、janomeを利用して形態素解析を行うため、インスタンスを作成しておきます。".join(r)).strip()results.append(rl)print(rl)4では、テキストを一行ごとに処理しています。変数linesに対して、読み込んでおいたファイルデータをtextに代入し、その変数を単語ごとに処理しています。forループにて、正規表現マッチング操作を行ったあと、一文字づつ形態素解析しています。5では、得られた形態素解析後の単語の品詞を必要な形で分かち書きさせていきます。fp:fp.write("\n".join(results))6では、用意しておいた任意のテキストファイルにて、結果をファイルに保存します。sg=1)model.save("text_2.model")print("ok")7では、分かち書きしておいたテキストファイルを読み込み、word2vecにてモデルを作成します。word2vec()メソッドにてパラメータを与えて実行すると、モデルを生成します。生成したモデルは、save()メソッドにてファイルを保存できます。word2vec1では、上記のファイルと同様、word2vecをインポートします。",".join(n))2では、モデル作成しておいたファイルを読み込んで、任意で決めたある単語に関する類似度を表示させます。★指定した単語の類似語句の表示結果★また、今後もプログラミングに取り組み続けていく中で、実務に利用できる学びを身につけていかなければなりません。実務の中のヒントを導き出してくれるテキストマイニングという技術を習得できたおすすめのPython本が以下のものになります。Pythonを活用したテキスト処理リンクリンクリンクPythonに特化した学習を進めたい人へ筆者自身は、Pythonista(Python専門エンジニア)としてプログラミング言語Pythonを利用していますが、これには取り組む理由があります。プログラミングの世界では、IT業界に深く関わる技術的トレンドがあります。日夜新しい製品・サービスが開発されていく中で、需要のあるプログラミング言語を扱わなければなりません。トレンドに合わせた学習がプログラミングにおいても重要となるため、使われることのないプログラミング言語を学習しても意味がありません。含め、プログラミング言語Pythonは学習対象としておすすめとなります。「PyQTM」は、プログラミング初心者にも優しく、また実務的なプログラミングを段階的に学べることを目指し、開発されたオンラインPython学習サービスです。Pythonにおける書籍の監修やPythonプロフェッショナルによるサポートもあり、内容は充実しています。技術書1冊分(3000円相当)の価格で、1ヶ月まるまるプログラミング言語Pythonを学習することができます。・エンジニアを目指している方(特にPythonエンジニア)かなり充実したコンテンツと環境構築不要なため、今すぐにでも学び始めたい・学び直したい、Pythonエンジニアを目指したい人におすすめです。コメントをキャンセルメールアドレスが公開されることはありません。*サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。【コード公開】【Python】テキストマイニングしてみた〜形態素解析〜RECOMMENDこちらの記事も人気です。2020.3.7【おすすめ】Python学習サイトPyQが初心者に選ばれる理由ABOUTこの記事をかいた人sugi大学卒業後、IT企業に就職を果たす。システム開発・人工知能に触れながら大手企業と業務をこなす。2019年2月から起業し、今に至る。自社サービス及び製品を開発、ブログ収入、クラウドソーシングなど、多方面で売り上げを立てている。