e0194889.都合によりあわてて読んだ奴。時系列予測における伝統的な統計手法と機械学習を比較するという論文。筆頭著者は予測研究で著名なマキリダキスさん。予測に関してなにか調べ物をしていると、Andersonさんとこの人に突き当たることが多い。キプロスの大学の先生なのね。イントロダクション機械学習(ML)の導入によって時系列予測の性能は上がったのか。上がったという主張は多いが、次の3つの限界を持つ。(1)どこまで一般化可能かわからない。(2)短期予測がほとんど。(3)ベンチマークがはっきりしない。Networks)である。この論文は株価予測を改善したという内容で、なるほどたしかに正確に予測できているんだけど、でも株価時系列というのはランダムウォークに近いもののはずだ。よしいっちょ追試したろうやないかと思って、著者らに連絡してみたが、全然返事がない。これじゃあ追試なんてできないじゃないですか。だいたいやね、MLをきちんとしたベンチマークと比べた研究自体みあたらんわけですよ。いうのがきっかけで、この研究をはじめたのです。名指しでディスられている方々は北京交通大の所属であった。Competition。MLの正確性についての最初の大規模研究であった。(後述)はBox-Jenkins法などの伝統的手法と大差なかった。Competitionから)。NNが特に優れているとはいえない。Econ.Rev.)は次の8つのML手法を比較した。いわゆるカーネル回帰のこと。Competitionから得た月次時系列。多層パーセプトロンが勝ったとは...]本論文はこの研究の拡張である。拡張点は:8つのML手法に加え、8つの統計的手法についても調べます。ML手法として再帰ニューラルネットワーク(RNN)と長短期記憶ネットワーク(LTSM)を追加します。正確性の指標としてMASEを加えます(後述)。1期先予測だけでなく18期先予測も調べます。計算の複雑さも調べます。モデル適合度も調べます。残りを学習データにする。対称的平均絶対パーセンテージ誤差(sMAPE)。sMAPEは負の値より正の値をよりpenalizeすることになる[←よくわからん。Int.J.Forecasting)をみるとよいらしい]。平均絶対スケールド誤差(MASE)。Y_{t-m}|}$$[つまりこういうことだ。k期先予測誤差)の平均を求める。これをある値で割るんだけど、その値とは、仮に月次データが3年分利用できるなら、2年目以降の24ヶ月について前年同期からの差の絶対値を平均した値だ。計算的複雑性(CC)の指標は、計算時間の平均をナイーブ手法の計算時間で割った値とする。[読み落としたのだと思うけど、ナイーブ手法ってなんのことだろう。2かな?]モデル適合度(MF)は、学習データに対するMSEを学習データの二乗和で割った値とする。お待たせいたしました。改めまして、選手入場です。[拍手]まず伝統的手法から。季節調整付きランダムウォークモデル。過去の同期の平均を予測値にするってこと?]単純指数スムージング(SES)。トレンド抜きの予測モデルである。Holt指数スムージング。トレンドつきの予測モデルである。Damped指数スムージング。これもトレンドつきの予測モデル。Dampedの平均を予測値とする。CompoetitionにおけるsMAPE優勝者である。[これもHyndmanさんがreferされている]さて、いよいよML手法でございます。[いちおう個々の手法について説明が提供されていたので、メモをとりかけたけど、途中で疲れて放棄してしまった。RのRSNNS::mlp()を使った[←へー]。上限1にスケーリングしておく。隠れ層が1層のNNを構築する。[入力ノード数が5ってのは、つまり$Y_{t-1}$から$Y_{t-5}$を入力にして$Y_{t}$を予測するってことね]隠れ層のノード数を$2N+1$にする。[あれ?じゃ前のステップではどうしてたの?]ウェイトを推定する。理解が及ばなくなってきた...]隠れ層の活性化関数はロジスティックなんだけど、出力ノードについては線型とする。Euro.J.OR)をみよとのこと。これはMLPと似た手法だけど、誤差について事前分布を想定する。Rのbrnn::brnn()を使った。これもMLPと同じく、隠れ層ひとつのフィード・フォワードネットワークなんだけど、活性化関数がシグモイド関数じゃなくて$n$個の放射基底関数の線形結合になる。RのRSNNS::rbf()を使った。名をNadaraya-Watson推定量ないしカーネル回帰推定量。Rのgrnnパッケージを使った。Rのclass::KNN()を使った。Rのrpart::rpart()を使った。Rのe1071::SVM()を使った。Rのkernlab::gausspr()。