・コーパス(corpus):大量の言語データであり構造化されたテキストデータ。・bag-of-words:文章中の語順は無視し、単語の出現頻度だけで表す文書のベクトル表現。言語表現を数学の世界に持って行きベクトルで表すことで、コサイン類似度など数学的処理で測ることができる。n-gramによって語順の情報が多少残っていること。・ストップワード(stop-words):話題と関連がない単語。“have”など、どんな話題でも出現する可能性が一定確率ある単語のこと。・ステミング(stemming):英単語で派生語などを同一の素性とみなす前処理。walk)・見出し語化:ある英単語の変形は同一の素性であるとみなす前処理。run/runs/ranはrunの変形であり、似た話題を指しているので、単語を基本形に戻す。必要な統計量が求められなくなってしまう問題。Recognition):解析対象となる文章から、固有名詞(人名、地名など)や日付、時間表現などを抽出する技術。これらの固有表現が辞書に登録されていない場合、未知語として扱われ、解析の誤りを起こすために生まれた技術。similarity):テキスト同士の近さ(類似)を数値化したもの。TF-IDFベクトルのコサイン距離を用いる。table):データ構造の一つで、標識(key)と対応する値(value)のペアを単位とするデータを格納し、キーを指定すると対応する値を高速に取得できる構造。ハッシュ表は、こうしたデータ型の実装方式としてよく利用される。array)とも呼ばれる。特定のインデックスに関連付ける代わりに、ハッシュ関数を特徴に適用し、そのハッシュ値を直接インデックスとして使用する手法。高速で省メモリとなる。・メカブ(MeCab):日本語の文章を形態素解析するOSS。日本語解析には欠かせない、最も利用されているツール。・Word2Vec:最近発表されてその性能からブームとなっている、単語をベクトル化して表現する定量化の手法。日常的に使う日本語の語彙数は数万から数十万といわれるが、これを各単語200次元くらいのベクトルとして表現する。embeddings)」と呼ばれている。・one-hot表現(one-hot-vector):出現するすべての単語に1つのIDを割り当ててベクトル化する定量化の手法。100万語あったら100万次元のベクトルとして各単語に割り当てる。technology.。