Theory)は、情報の量を数学的に定義して扱う分野です。通信の話に入っていくものが多いです。このようにすると、「起こりにくいと思っている事象ほど、情報の値は高い」という性質を表現できるようになります。平均(期待値)は、「平均情報量」と呼ばれています。しての使い方があります。またがっている方法です。異なるモデルを比べるための指標が、情報量基準です。BICやGICと言った量も考案されているようです。最尤推定量とは、モデルのパラメータの値です。カルバック情報量(相対エントロピーとも言います)を最小化することによって求まります。情報理論では、フィッシャー情報行列という量が出てきます。実験計画法でも登場しますが、同一人物です。中での情報理論を理解するための本です。情報幾何学を紹介し、いろいろなアルゴリズムの幾何学的な説明もあります。サンプリングの本としても、参考になります。データの欠損がある時に、その部分を補間して使う方法。身近な例を使ったわかりやすい解説があります。情報量基準(AIC)の導出があります。1999親しみやすいタイトルですが、中身は難解です。実際の調査と理論の結び付きが、しっかりしています。1993集合や論理の本です。情報理論の本ではないですが、他に適当なページがなかったので、ここにメモしています。2012情報量の性質を丁寧に解説しています。