某バイトというか勉強させてもらっているところ*1でRとMeCabでほげほげするようなのでインストールするよ!!Macです。SourceForge.netよりmecabとmecab-ipadicをダウンロード。win用以外のは辞書が含まれていないらしいので、辞書もダウンロードしてくる。両方ともディレクトリに移動して以下を実行すればおk。installこんな感じで結果が返ってくればインストールできてるっぽい。グループよりファイルをダウンロード。mac用はtgzファイルのやつだそうです。あと久しぶりにRのGUIを立ち上げたところ、localeがなんか変とか言われたのでこの辺を実行しておいた。safariでダウンロードするとtgzファイルがtarファイルになってしまっているということに気づかず無駄に時間がかかってしまうなど。Firefoxでgetしてきてsetwd("~/Desktop")install.packages("RMeCab_0.78.tgz",destdir=".",repos=NULL)library(RMeCab)とかでやっと入った。Twitterの発言を適当に拾ってきて、こんな感じでやるとなんかできた。RMeCabC("1993年までは、30歳が高齢出産の基準だったらしい。使ってみるRによるテキストマイニング入門の5章を参考にしながらやってます。この前やつでやってみる。以下の文章を/tmp/hoge.txtに保存。自分の居間まで重そうな母の言葉は母も聞きます。彼はどこへか行って、いつも古本屋に売るさ」。先生の宅とこの木の下を歩いていた。ところが実際は、あなたがた顫え出したつもりでいたのですが、一年と立ち二年と過ぎ、もう一杯上げます。その時分から、Kの墓へ毎月お参りをしようとしたのです。私は迂闊な青年であった。無理はないそのたびに先生のこの病は慢性であったのです。私までも引き留めたでしょうけれども事情にうといったでしょうか」「綺麗に刈り込んだ時、私はまた腕組みをしてよそを向いて、もし坊さんは二、三日前晩食に呼ばれそうに見えました。日本の女らしく思う気は少しも起ります。解析したいテキストがファイルの場合は、RMeCabText関数を呼ぶとよいようだ。左から,表層形\t品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用形,活用型,原形,読み,発音となっています.http://mecab.sourceforge.net/#usage-toolsというふうになっているようだ。lapplyとかと合わせて使うとリストの必要な要素が取ってこれそうですね。RMeCabFreqという関数を使うと登場回数というか頻度のカウントができる。table関数みたいなやつですね。1登場頻度が高い上位10個が欲しいなーとか思った時はこんな感じにすればおk。なんかdata.frameのもっと効率のいい方法があった気がするけど、まあとりあえず。10助詞とかその辺は取り除いたほうがいいんだろうけど、まあいいか(ぉ。文章間の相関とかそういうのを見る時にはそれぞれの文章における単語の登場回数のようなものを見る必要がある。matrix)というやつらしい。RMeCabには付属のテキストっぽいのが3つほどある。lsdoc1.txtdoc2.txtdoc3.txtで、このディレクトリにあるテキストを用いて、ターム文章行列を作る関数がdocMatrix関数。1「TOTAL-TOKENS」とかの詳細はRによるテキストマイニング入門のP62とかを見てくだしあ。例3つの文章だけじゃ面白くないので、自分のはてなグループに上げている日記のテキストに対してターム文章行列を作り、相関を見ることにしてみた。1.0000000行列めちゃでかいので、3*3で取り出してみたんだけど、めっちゃ相関が高い。頻度が0のやつが多いのが影響しているんだろうな。いうことで検証してみる。34.80176ターム文章行列を横に見ていったとき、登場回数が3回より多いというのは30%くらいしかないのが分かる。単語の数は多いんだけど、それぞれの単語の登場回数は少ないということで疎な行列っぽいんだなーということがなんとなく分かる。N-gramN-gramはこの前やったんだけど、RMeCab付属のN-gramの関数でやってみる。文章はこの前のと同じ。3まあ、もちろん結果は変わらないけど。その他プラットフォームによって辞書の整備のされかたが違ったりすることがあるので、特定単語について調べるときは注意が必要らしい。MeCabは自分で辞書を更新することができるとのこと。14:02関連記事2009-11-14一行づつ、をstringで自分用メモ。#inclu</vector></string></fstream></iostream>...2009-07-30今日のPerl無名関数っぽいものとか。/Users/syou6162/config/.emacs.d/el...2009-07-03複合名詞の周辺の情報、複合名詞の先頭と末尾の情報この前やったSVMに使った素性は考えられる中では相当単純なもの...2009-07-03ミスの修正とか、品詞を詳しく見るとかバイトですよっと。08:56株式会社10Xでデータエンジニアをやっています。gmail.comにお願いします。内容によって返信できない場合もあります。引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。