計算するのは、この作り方のひとつです。「毎日の最高温度のデータを、月毎に集計」、などです。集計」と言われたりしますし、Excelのピボットテーブルや、BIのソフトの主要な機能にもなっています。ドメイン知識を活用しながら、この種類の作り方をした特徴量です。区間ごとや、グループ変数で集計する場合、生データよりも、サンプル数(データの行数)が減ります。データの列を減らして、データの見通しを良くしたり、計算量を減らす方法です。複数のサンプルから作る特徴量は、データの行を減らして、データの見通しを良くしたり、計算量を減らす方法としても使えます。前後のサンプルを使って集計する方法は、新しい変数を作るような感覚で使うこともできます。数学的な空間を変えます。生データとは、列の名前がまったく違うものになります。何のデータなのかを知っているデータです。」など様々な目的に使おうとするために、特徴量エンジニアリングが必要になっています。ところで、特徴量エンジニアリングで扱うデータの共通点は、コンピュータで扱えるようになっている電子データである点です。コンピュータの中でのデータの形態は、0と1の組み合わせなので、一見しても人間には何もわかりません。人間が何を書いているのかが理解できるデータに変換する部分は入っていません。このサイトで、いつかまとめてみたいと思っています。2023特徴量エンジニアリングだけの本です。2019特徴量エンジニアリングだけの本です。(2つの変数の積)、など3章:テキストデータの取り扱いとして、Bad-of-wordsで単語の使用回数を集計4章:Bad-of-wordsのTF-IDFによる重み付け5章:カテゴリ変数の取り扱いとして、ダミー変換など。ビンカウンティングは、単語をその単語の発生率などの統計量に変換方法。レアなカテゴリを「その他」のようにしてまとめて扱う方法の名前は、バックオフ(back-off)。ダミー変換などで多変数に変換する。2023欠損値補完、テキストデータや画像データの処理、2つ以上の変数を使って作る特徴量といったものについて、事例を通して解説しています。手順を再利用や共用する話にもつなげています。2017特徴量エンジニアリングの章があります。汎用的な方法として紹介されています。専門家知識の利用として、その事象をよく知っている人にとっては常識の情報で特徴量を作る例も紹介されています。同じように、成分分解としての使い方があるとして、ベクトル量子化を紹介。いう分け方で、それぞれの型の変換の方法をまとめています。具体的な話や体系的な話は、それほど豊富ではありません。解説」という4つ部分からできている感じです。2017特徴量エンジニアリングに2つの章を当てています。高度な特徴エンジニアリングの章は、テキストデータ、画像データ、時系列データ。画像データは、エッジの抽出など。statistics)と呼ばれています。2017機械学習の要素を、タスク、モデル、特徴量の3つとしています。モデルは特徴量以上に良くはなれないので、特徴量が機械学習の成否の大部分を決定。特徴量とは、インスタンス空間から特徴空間への写像。特徴量の構築や選択は、行列の積の形で考えることができる。特徴量のカテゴリーは、中心傾向の統計量(平均値など)、ばらつきの統計量(標準偏差など)、形状統計量(歪度、尖度など)特徴量を、量的、順序、カテゴリー、ブール(二値)の4種類に分けています。右側から左側として、キャリブレーションを挙げています。キャリブレーションとは、確率の数字を量的変数として使うことです。ミリ秒、1秒の千分の1)の長さのフレームを周波数分析。フレームの端はいきなり0にならないように、減衰させる。フレームは10msずつずらして、変化点が抜けないようにする。ケプストラム処理をして、1番目と2番目の極大点の周波数を抽出すると、この2つの特徴量で、母音が判別できる。2017音声データを特徴量にするところは、上記の本よりも詳しいです。フレームは20〜80msにするのが一般的。transform)をする。フレームは10msずつずらすが、その差分も認識向上に役立つ特徴量になる。差分ケプストラムや、デルタケプストラムと呼ばれる。音声特徴量は、数10次元になる。グループ分けして、グループ名を記憶するようにすると、1次元の特徴量となって、記憶領域の節約になる。これをベクトル量子化と呼ばれる。(DNN)を使って、フーリエ変換をしないで音声から特徴量を抽出する方法も開発されて来ている。すると、性能が高くなることもわかっている。