519–539.仕事の都合で因子分析モデルをベイズ推定するとき、いつも悩むのは因子負荷の事前分布の設定である。導師Muthenが提案するベイジアンSEMは確かにすごく有用な手法だと思うし、日本語での紹介が少ないことに義憤を感じて書籍で紹介させて頂いたりもしたんだけど(嗚呼、自己満足)、個別具体的な事例においては、どうしても困っちゃうわけです。いうわけで、たまたまみつけた論文を読んでみた(目先の仕事からの現実逃避であるともいえる)。ベイジアン因子分析において、因子負荷にspike-and-slab事前分布を与えるのがよろしいのではないでしょうか、という論文。[イントロダクション]次の因子分析モデルを考える。\mathbf{\epsilon}_i\)はいずれも長さ\(p\)のベクトル、\(\mathbf{\omega}_i\)は長さ\(q\)の潜在変数ベクトル。\(\mathbf{\Psi}\)は対角行列とする。EFAではなんらか推定してから回転して\(\mathbf{\Lambda}\)を倹約的にする。CFAでは、はなから\(\mathbf{\Lambda}\)の一部を0に固定する。その分パラメータのSEは下がる。十分な事前知識がないまま\(\mathbf{\Lambda}\)に0を埋めちゃうと\(\mathbf{\Phi}\)にバイアスが生じちゃいますよね。回帰におけるステップワイズ変数選択と同じで、MIでもってモデルを繰り返し修正していったとき、そこから生まれる分散を、標本抽出による分散からどうやって分離するのかという問題が生じる。そこでこう提案したい。因子負荷推定をベイジアン変数選択問題として捉えよう。次の回帰モデルを考える。\mathbf{\beta}\)は長さ\(p\)のベクトル。\sigma^2)\)と仮定する。簡略のため切片項はなしってことにする。古典的な変数選択手続きはいろいろあるけど欠点もある。サブセット選択は\(p\)がちょっと大きくなるだけで非現実的になる。系列探索(前向き選択とか後ろ向き削除とかステップワイズとか)はデータセットごとに全然ちがう結果になっちゃうし、モデル選択の不確実性を考慮してないせいでSEの過小評価につながるし...[後略]そこで出てくるのが正則化。\(\mathbf{\beta}\)の非ゼロ要素数を決めるんじゃなくて、損失関数に\(\mathbf{\beta}\)のノルムをいれる。\(norm(\mathbf{\beta})/\tau^2\)を罰則項という。\(\hat{\mathbf{\beta}}_R\)の有名な特殊ケースとしてridgeとlassoがある。[...それぞれについて簡単に説明している。めんどくさいので中略...]というわけで、頻度主義的な回帰の枠組みにおいて、正則化とは目的変数に罰則をつけることである。知られている正則化手法は、罰則関数を事前分布として指定したベイジアンモデルとしても捉えられる。ベイジアン正則化は伝統的なベイジアン手法とは異なり、事前分布でもって未知パラメータの値の分布を指定するだけでなく、モデル構造にまで影響を与える。回帰モデルの場合、\(\mathbf{\beta}\)の事前分布としてはガウシアンかラプラスが選ばれることが多い。lasso推定量と等しいことを示せる。[話の進め方が早すぎるので、ridge推定量の場合についてゆっくりやり直す。\sigma^2)\)と仮定する。\right)$$だ。これが上記の式である。頻度主義側からみてもベイジアン側からみても結局は同じことである。