モデル評価にクロスバリデーションをよく使うのですが、  
決定木のようなバリアンスの大きいアルゴリズムについては、クロスバリデーションによる評価が意味のあるものかどうか、いつも疑問を抱いて行っています。

そもそもクロスバリデーションは最適なハイパーパラメータを探索することを目的にしていると思っているのですが、最終的なアウトプットとしてのモデルを評価するには、結局は別の検証データセットを用意しておかなければ評価できないのでしょうか？
CC BY-SA 3.0
2017-10-26T00:23:06.720
39033
2021-03-07T13:03:45.340
25910
question
機械学習
交差検証（クロス・バリデーション）を適応して意味のあるアルゴリズムについて
あなたが何をどう「評価」したいかに寄ると思います。

学習データのみでよいのであればクロスバリデーションをせず、学習データに適したモデルで終了

学習データで作成したモデルを新規のデータに適用したいのであれば

  * クロスバリデーションなしの学習モデル
  * クロスバリデーションした学習モデル

を新規のデータで試し、実際の結果と比較しているとよいと思います。  
ほとんどの場合で後者が勝つので一般にはクロスバリデーションをする、となっています。
CC BY-SA 4.0
2020-06-21T02:16:17.667
67855
2020-06-21T02:16:17.667
40738
39033
answer