(火)2004年12月からなんとなく続いてきたこのブログでございますが(まじか...)、このたび移転いたします。引っ越し先はこちらでございます。437-450.仕事の都合で読んだ奴。時系列予測の交差検証をどうやるかという話。out-of-sample評価in-sampleの誤差は予測誤差を過小評価しやすい。一期先予測を繰り返して補外するタイプの予測手法(指数平滑化とか)ならなおさらである。in-sample適合で選択した手法はpost-sampleの最良予測でない。post-sample予測精度を確かめるひとつの方法は待つことだが、さすがに現実的でないので、ふつうはホールドアウトを使う。fit期間とtest期間をわけるわけである。horizonという。test期間を$N$とする。timeは$N$期先予測である。$T$に立って$T+1$から$T+N$を予測するのをfixed-origin評価という。timeを通じた誤差を平均すると短期予測誤差と長期予測誤差を混ぜちゃうことになる。これに対して、originをどんどん更新していくやり方をrolling-origin評価という。計10個の予測値を得る。timeごとの正確性を評価できる。timeについて予測の経験分布を得ることができる。大事なのは、fit期間とtest期間をどうわけるかである。最長で何期先予測が必要かを考慮する必要がある。$H$期先予測まで必要なら$N$はそれ以上でないといけない。$H$期先予測が最低いくつほしいか($M$)を考える。$N$は$H+M-1$以上でないといけない。分布が欲しければ$N$をもっと長くとらないといけない。originをupdateするとfitするデータ点が増えるが、そのたびに予測式も変える(recalibration)ほうがよい。回帰モデルの場合でいえば、recalibrationのないupdateというのはfixed-origin評価と同じことになる。recalibrationなしというのは、パラメータを固定して学習データ点だけ増やすことを意味しているわけで、単純な回帰モデルの場合はoriginを$T$から$T+1$に移動しても$T+2$の予測値は変わらないが、ARMAモデルだとちょっと変わるね]rolling-originデザインでは特定のoriginを選択したことによる影響を取り除ける。ここで大事なのは、はずれ値への敏感性は下がったが、ビジネスサイクルのフェイズへの敏感性は下がってないということだ。test期間はビジネスサイクルの特定の期間だけを反映しているかもしれない。それがいやなら、test期間を複数設けてそれぞれについて誤差を評価すると良い。sampleという)。ふつうはその必要はない。時系列手法は遠い過去のデータの影響をあまり受けないから。simulations手法の選択と評価にrolling-originデザインを使うというアイデアもある。horizonという。fit期間の$P$個にわける。out-of-sample評価のペアを伴う。fit期間へと最適化し、それぞれのlead時間について最良の手法を選ぶ。第二の評価はテスト集合に対する評価で、この手法によって得られた予測の正確性を評価するという伝統的な目的のために行う。予測手法AとBがあるとするじゃないですか。最初の$T$期でそれぞれのパラメータを推定しますわね。次の$P$期でそれぞれの予測性能を評価し、良かったほうを選ぶ。最後の$N$期で選んだほうの予測性能を評価する。次に、最初の$T+1$期で推定、次の$P$期で選択、最後の$N-1$期で評価。いう風に繰り返すのだろうか。JRSS)というのが挙がっている。この話、この論文であれこれ考えてないで、Makridakisの本とかを調べたほうが早そうだな。originsを使うのは、それぞれのlead時間について十分な予測を得るため(adequacy)、そして特定の出来事なりビジネスフェイズなりへの誤差指標の感度を下げるため(deviersity)、である。seriesを選ぶ必要がある。diversityを得るためには、性質においてもカレンダー時間においても異質な時系列をたくさん集める必要がある。いう立場では、originは固定し、テスト期間を単一にすることが多い。特性のタイプの時系列(例えば産業別の年次売上数量)をうまく補外できること(selectivity)を主目的とすることもある。originsを使いテスト期間を複数にすることが多い。[...ちょっと飛ばして...]複数の時系列を使う場合、長さやカレンダー時間は異なっていてよいが、test期間の長さはふつう揃える。予測誤差統計量は異なる時系列を通じて平均したり、異なるlead時間を通じて平均したり、両方を通じて平均したりする。Int.J.Forecasting)を参照せよ。異なる時系列を通じて平均する場合は、スケール依存な指標(RMSEとかMADとか)は避け、スケール独立な指標(APEとか)を使うべし。元の値が0に近いことがあるときパーセント誤差はすごく歪む。いうときはMAPEよりAPEの中央値がおすすめ。MAPEというのもあるよ。volatalityが変動するときはさらに工夫が必要で...[中略。必要になったら調べよう]異なるlead時間を通じて平均する場合、ないし時系列とlead時間の両方を通じて平均する場合、通常は単純に足し上げるが(短いleadに重みがつくことになる)、個々のlead時間ごとにMAPEをとったうえでlead時間を通じて(重みつき)平均を出してもよい。ところで、originによって(ないしカレンダー時間によって)モデルも変えるべきだ、変えるべきだという可能性もある[...]。手法の予測の正確性についてわかったとして、ではどうやって手法を選ぶか。自動で選ぶという提案もあって[...]。最近では時系列の階層構造を考慮するという試みもある。Int.J.Forecasting)をみよ。サマリー[略]...細かいところに深入りしない広く浅く型のレビューなので、ちょっとストレス貯まったが、ま、勉強になりましたですー。(月)仕事の都合で先月とったメモ、なんだけど、読み返すと、なんだかすごく昔のできごとのような気がする。この1か月間の間に、世の中どれだけ変わったことだろうか。336-345.いわく。市場調査では購入意向(PI)のデータをよく使う。JCR)結果をまとめていうと、PIは実購買と正の相関を持つが、実購買の予測力は低い。なんとかならんもんか。この問題、製品タイプで分けて調べたり、新製品か既存製品かで分けて調べたりする必要がありそうだ。耐久財と非耐久財との差を示している。対象者のタイプより製品カテゴリで差があった。みたいな上市前売上予測は予測力が高いけど、PIだけつかっているわけではないし、トライアル購買ではなくて市場シェアを予測していたりする。Paper)は、市場調査のサプライヤー、コンサル、広告代理店に調査をかけ、どんなPI指標を使っているか、その妥当性を調べたことはあるかと訊ねた。buy.というわけで、本研究ではこの5件法PI尺度をつかった3つのモデルを比較する。