サトヤキ・ロイこんにちは、NRIの時系列予測チームの鈴木です。第4弾までの記事で、iterativeモデルとglobalモデルを導入し、それぞれ優れた点があることを紹介しました。今回は第5弾として、時系列データをクラスタリングによって分類し、アンサンブルに活かす方法をご紹介します。同じデータセットでも、生データを見ていくと分割して扱いたくなるwalmartコンペティションデータWalmartコンペティションの学習データから、50事例ほどランダムにピックアップしてきました。同一のデータセットに含まれるデータですが、明らかにIdによって特徴がバラバラです。短期間のトレンドに依存しすぎて折り返されたときに外す、ハズレ値に弱く極端なスパイクがあると引っ張られる、など)。第4弾でご紹介したglobalモデルは、これらをすべて1つのモデルで予測しようとしますが、学習の結果Idによって向き不向きが出てしまうのは明らかです。説明変数の寄与が甚大な系列と軽微な系列がある。大域的に目的変数のラグ1への依存度が高いlgbmモデルが出来上がったとき、ラグ1よりも周期的な要素や、ホワイトノイズ的な要素が強い系列に対する予測が外れる、など)。「このIdにはモデルAを重視しよう」といった形で、系列ごとにモデルのアンサンブル比率をコントロールすることで、正確かつロバストな予測が得られるようになります。ここでは系列を大まかなグループに仕分け、各グループ内でモデルの比率を制御する方法を考えます。図1をよくみると、ある程度似た雰囲気を持つ系列が横に並んでいることがわかります。1段目は細かな変動と2回あるスパイク、2段目は大きな季節性といった具合です。実はこれは、時系列に特化したある高速なクラスタリング手法で分類した結果からサンプリングしています。次項でこの手法をご紹介します。(ただしここでは意味解釈を優先して、SKUではなくDept単位での粗いクラスタリングに留めています。characteristicsクラスタリング手法には色々ありますが、ここでは時系列に特化した方法を扱います。大別すると一般に2つの方法があります。動的時間収縮法)」と呼ばれる手法です。「2つの折れ線を横にスライドさせると重なる」ものを「距離が近い」とみなして、2つの折れ線グラフ同士の距離を算出します。して定義された距離を用いてクラスタリングが可能です。DTW距離は定義から計算時間が非常に長いため、今回は採用しません。...)とする空間の点とみなす方法です。この空間上で距離を測ることで時系列同士をクラスタリングします。特性の似た特性を持つ点を「近い」とみなすということです今回はこちらの方法を採用します。時系列データの特性を測る指標は非常にたくさんあるのですが、特に効果的なものをピックアップしている研究(*1)があり、これを活用しましょう。このクラスタリングの方法を具体的な実行コードで解説します。多系列・時系列データを以下の形式のオブジェクトtrとして準備します。...catch22によって各Idから、特に有用な22の特性指標が一気に計算されます。(この計算は非常に高速です。)あとはこれを用いてクラスタリングしていきましょう。hclust)時系列を点とする空間このように、各Idを特性指標で点にマップすることで、クラスタリングを行うことができます。実務上で使うときにはある程度工夫の余地があり、例えば生の時系列ではなく、製品分類などで括りを使い合計値に対してクラスタリングを施す(意味解釈や逐次更新バッチ時の安定性を優先)平滑化処理を行い、細かなノイズ(fluctuation)以外の部分でクラスタリングするクラスタリング手法を変更する(PCA+kmeansなど)Walmartコンペティションデータにおいては、(技巧より実務への応用性を重視するポリシーのため)Dept単位でまとめた系列に対してクラスタリングを施しました。2010年と2011年12月の大きな山を持ち、それ以外は平坦な1つ目のクラスタ、減少傾向を持つ2つ目のクラスタ、全期間で平坦な3つ目のクラスタなどが摘出されています。クラスター別の時系列グラフこのクラスタを使って、以下のような解釈の基、モデルの配分を決めました。public共に精度上昇によってリーダーボードを越すことができます。これで当初の目的であった、1位/688チームが達成されます。モデルを第1回から第5回まで行ってきました。次回はこれを見通しよく整理していきます。ここまで深層学習は出てきていませんでしたが、実際には時系列予測に関する深層学習はいくつか使いやすいものが実装されています。これも紹介する予定です。11:34お問い合わせはこちらデータサイエンスに関して、お気軽にご相談ください。»このメディアについて野村総合研究所の現役データサイエンティストが最新の動向を伝えるためのブログです。reserved.引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。