USCONTACT【過学習1】データ分析を行うにはどのくらいのデータが必要なの?ホーム【過学習1】データ分析を行うにはどのくらいのデータが必要なの?こんにちは。designの佐藤です。これまでの当ブログ記事で機械学習を用いた時系列分析、クラスタリング、分類について簡単に説明してきました。弊社では主に商店や中小企業のクライアント様への分析サービスも行います。その場合、最低数百~数千のデータをご用意いただくことをお願いしていますが、数百~数千個のデータとは言え、すぐ分析で使える形のデータを収集されている商店様や企業様は意外と少ないものです。1天気、2最低気温、3最高気温から来年の4お弁当の売上、5客数を予測したいというとき、3年分(約1,000日分)の1~5学習データが準備してあればすぐに分析に取り掛かれます。本日は以下について説明しましょう。・k-分割交差検証(クロスバリデーション)まずは過学習から説明します。過学習さて、皆さんはあるお弁当屋さんで働きはじめたとしましょう。上司である店長からこんなことを頼まれました。店長「来月から食材の発注はキミに任せた!先月退職した主婦のパートさんが書き残した過去1年分のノートと発注書を参考に頼んで!」そのお店には発注担当のベテランパートさんがいらっしゃいましたが、先月ご主人の仕事都合で遠方に引っ越したのです。渡されたノートと発注書を見ながら勘に頼って発注したいところですが、それでは面白くありません。ノートと発注書にある過去1年分のデータを入力して、売り上げの予測ができるモデルを作ってみることにしましょう。イベント、売れた弁当の個数、廃棄した食材数などのデータが書き残されています。「20xx年10月10日(土)町内会の運動会あり。販売点数は唐揚げ弁当106個、シャケ弁当63個、焼肉弁当...個。本日は唐揚げを300個、シャケを...個発注。「20xx年10月11日(日)老人会のカラオケ大会あり。販売点数は幕の内弁当41個。