平均情報量が高い方から低い方に向かって、矢印を書くようにしています。ページに例があります。これは「何かの作用があると、平均情報量が低くなる」という経験則から決めています。一様分布データにばらつきが加わると、データに偏りが出て、これが平均情報量の低下として表れます。この意味では、因果関係の向きと、平均情報量から判断した向きがあっています。平均情報量は、「情報エントロピー」と呼ばれ、熱力学のエントロピーとアナロジーの関係があります。その特徴が消えて行く法則が知られています。特徴(偏り)がない分布に偏りが表れる方向があれば、原因から結果の方向と考えています。原因がなく、自然な変化をする場合にも平均情報量の変化が起きているので、平均情報量の分析では、この考察が不可欠と言えそうです。BICやMDLといった対数尤度を含んでいるスコアを使って、モデルの良さを評価します。ページにあるように、対数尤度と情報量には密接な関係があるので、これらのスコアが評価するのは情報量で評価する場合と。スコアは、複数の変数のモデルに対して計算することもあるので、そういった違いはあります。