[Time Series 📉][Forecasting:Principles and Practice]AR、MA、ARMA、ARIMA概念まとめ


Forecasting :Principles and Practiceに基づいて整理されたドキュメント.
Forecasting: Principles and Practice , Rob J Hyndman and George Athanasopoulos

Table of Content

1. Stationary and Non-Stationary
2. Autoregressive(AR) Model
3. Moving Average(MA) Model
4. Autoregressive and Moving Average Model(ARMA)
5. Autoregressive Integrated Moving Average Model(ARIMA)
6. ACF(Autocorrelated Function) and PACF(Partially ACF)

1. Stationary and Non-Stationary


(1)状態処理(通常):時間の長さに関係なく、一定の平均値と分布を持つ表列データ

(2)非静的プロセス(非正常):時間平均と分散を区別しないテーブル列データ

正常性と非正常性を比較する方法 X軸をLag(現在のデータとの時点差)に設定し、Y軸をACF(自動相関機能)に可視化したときに周期的に現れるパターンがなければ静的プロセスと見なすことができます。

自動関連とは? 相関は2つの変数間の関係のメトリックであり、通常は-1から1の値で表されます。1に近づくほど負の相関が大きくなり、+1に近づくほど負の相関が大きくなる。「自動相関」とは、「相関」に「自動」という概念が追加されたことを意味し、時間系列の観点から時間オフセット自体に関連しています。

2. Autoregressive(AR) Models


これは,自身を従属変数(Dependent Variable)yty tytとし,以前の時点のクロック列(タグデータ)[yt–1,yt–2,...,yt–p][y t-1,y t-2},...,y t-p}][yt–1,yt–2,...,yt–p]を独立変数(独立変数)とするモデルである.簡単に言えば、ARモデルとは、変数の過去値の線形結合を利用して現在の時点の値を予測するモデルである.
差分pppの自己回帰モデルは、以下のように表すことができる.
yt=c+Φ1yt−1+Φ2yt−2+...+Φpyt−p+ϵty_t = c +\Phi_{1} y_{t-1} +\Phi_{2} y_{t-2} + ... +\Phi_{p} y_{t-p} +\epsilon_{t}yt​=c+Φ1​yt−1​+Φ2​yt−2​+...+Φp​yt−p​+ϵt​
上の儀式で.ϵt\epsilon_{t}ϵtはWhite Noiseです.
式のパラメータは、現在の時点の値yty tytを予測するために使用されます.Φ\PhiΦこれは,乗算値とWhite Noise値を加えた多様な形式の多重回帰モデルと見なすことができる.この差分pppを持つ自己回帰モデルをAR(p)モデルと呼ぶ.

3. Moving Average(MA) Models


自分自身をDependent Variable yty tytとし、その時点とその過去のWhite Noise分布エラーとして使用します.ϵt−1,ϵt−2,...,ϵt−p][\epsilon_{t-1},\epsilon_{t-2},...,\epsilon_{t-p}][ϵt−1​,ϵt−2​,...,ϵt∮p]を独立変数(Independent Variable)とするモデルを表す.移動平均モデルは、回帰で目標推定変数の過去値を使用するのではなく、回帰のように見えるモデルで「予測誤差」(Forecast Error)を使用します.
差数qqqの移動平均モデルは以下のように表すことができる.
yt=c+ϵt+θ1ϵt−1+θ2ϵt−2+...+θqϵt−qy_t = c +\epsilon_{t} +\theta_{1}\epsilon_{t-1} +\theta_{2}\epsilon_{t-2} + ... +\theta_{q}\epsilon_{t-q}yt​=c+ϵt​+θ1​ϵt−1​+θ2​ϵt−2​+...+θq​ϵt−q​
こちらです.ϵt\epsilon_{t}ϵtはWhite Noiseです.yty tytの各値を過去のいくつかの予測誤差の重み付け移動平均値として解釈できる.このqq差移動平均モデルをMA(q)モデルと呼ぶ.

4. Autoregressive and Moving Average (ARMA)


自分を従属変数(Dependent Variable)yty tytとし,以前の時点クロック列データ[yt–1,yt–2,...,yt–p][y t-1},y t-2},...,y t-p}[yt–1,yt–2,yt–2,yt–p]とWhite Noiseϵt−1,ϵt−2,...,ϵt−p][\epsilon_{t-1},\epsilon_{t-2},...,\epsilon_{t-p}][ϵt−1​,ϵt−2​,...,ϵt∮p]を独立変数(Independent Variable)とするモデルを表す.
p次元とq次元を持つARMAモデルの式は以下の通りである.
yt=θ0+θ1yt−1+θ2yt−2+...+θpyt−p+ϵt+θ1ϵt−1+θ2ϵt−2+...+θqϵt−qy_t =\theta_{0} +\theta_{1} y_{t-1} +\theta_{2} y_{t-2} + ... +\theta_{p} y_{t-p} +\epsilon_{t} +\theta_{1}\epsilon_{t-1} +\theta_{2}\epsilon_{t-2} +...+\theta_{q}\epsilon_{t-q}yt​=θ0​+θ1​yt−1​+θ2​yt−2​+...+θp​yt−p​+ϵt​+θ1​ϵt−1​+θ2​ϵt−2​+...+θq​ϵt−q​

5. Autoregressive Integrated Moving Average (ARIMA)


既存のAR、MA、およびARMAモデルでは、データが「正常」でなければならない場合、差分でデータを「正常」に変換する必要があります.ARIMAは、ARMAモデルをd次差分するモデルである.
データを正常に復元するにはどうすればいいですか?さぶん 差分とは、現在のデータからd点以前のデータを減算することを意味する。非正常クロック列を正常に表示する方法は、連続観測値間の差異を計算し、データ表示を正常に変更することである。 上図は穏やかさがどのように起こったのかを示しています。時差1で差分を求める場合を「第1差分」、時差2で差分を求める場合を「第2差分」と呼ぶ。1回目の差分を行ったとしても、正常でなければ2回目の差分が行われるが、2回目の差分は元のデータの「変化中の変化」をモデリングすることを意味するため、実際には2回目の差分よりも大きく要求されることはほとんどない。 上図は、ログ変換、一次差分、二次差分の可視化結果を示しています。通常、時計列曲線に特定の傾向がある場合は1回の差分が実行され、傾向が時間とともに変化する場合は2回の差分が実行されます。

ARIMAは自動回帰集積モバイルデバイスの略であり、移動平均値が蓄積された自己回帰(すなわち自己回帰と移動平均)モデルを結合したモデルである.式は次のようになります.
yt′=c+Φ1yt−1′+Φ2yt−2′+...+Φpyt−p′+θ1ϵt−1+θ2ϵt−2+...+θqϵt−q+ϵty_t' = c+\Phi_{1} y_{t-1}' +\Phi_{2} y_{t-2}' + ... +\Phi_{p} y_{t-p}' +\theta_{1}\epsilon_{t-1} +\theta_{2}\epsilon_{t-2} +...+\theta_{q}\epsilon_{t-q} +\epsilon_tyt′​=c+Φ1​yt−1′​+Φ2​yt−2′​+...+Φp​yt−p′​+θ1​ϵt−1​+θ2​ϵt−2​+...+θq​ϵt−q​+ϵt​
上記の式では、yt’y t'yt’は差分を求める表列であり、右端の予測変数にはyty tytの時差値と時差誤差(ヒステリシス誤差)が含まれる.上記モデルをARIMA(p,d,q)モデルと呼び、各変数p,d,qp,d,qp,d,qは以下の意味を持つ.
  • pp=自己回帰部分の差
  • ddd=一次差分を含む
  • qq=移動平均部の差
  • 通常および可逆条件(磁気回帰および移動平均モデルのような)はARIMAモデルにも同様に適用できる.また、現在使用しているモデルをARIMAモデルとして表すこともできます.
  • White Noise : ARIMA(0,0,0)
  • 確率歩行:定数を持たないARIMA(0,1,0)
  • ドリフトを含む確率歩行:定数を有するARIMA(0,1,0)
  • AR : ARIMA(p,0,0)
  • MA : ARIMA(0,0,q)
  • 6. ACF and PACF


    ACF(AutoCorrelation Function)?


    自己相関関数(ACF)はk時間単位で区切られた表列の観測値間の相関関数であり,kが大きいほどACFは0に近い.相互相関値が2つの変数間の線形関係のサイズを測定するように、「自己相関」はテーブル列のヒステリシス値間の線形関係を測定します.
    シーケンス図には、各パネルに関連するいくつかの自己相関係数があります.r 1 r 1 r 1はyty tytとyt 1 y{t−1}yt−1の関係を測定し、r 2 r 2はyty tytとyt−2 y{t−2}yt−2の関係を測定する.
    rkr krkの値は次のように書くことができます.
    rk=∑t=k+1T(yt−yˉ)(yt−k−yˉ)∑t=1T(yt−yˉ)2,r_{k} =\frac{\sum\limits_{t=k+1}^T (y_{t}-\bar{y})(y_{t-k}-\bar{y})} {\sum\limits_{t=1}^T (y_{t}-\bar{y})^2},rk​=t=1∑T​(yt​−yˉ​)2t=k+1∑T​(yt​−yˉ​)(yt−k​−yˉ​)​,
    前述の例では、Tはテーブル列の長さである.

    PACF(Partial ACF)?


    「部分相関」(Partial Correlation)は、2つの確率変数XおよびYが他のすべての変数に表示される相関と、その後も存在する相関として定義することができる.
    従って,部分自己相関関数(PACF)は自己相関関数と同様に,すべてのデータ点間の純粋な相関関係,距離差kのk個のレベルを表す表列観測値間の相関関数である.
    簡単に言えば、yty tytとyt-ky{t-k}yt-kのPACFはyty tytとyt-ky-k}yt-kの純粋な相関であり、2つの時点の間に含まれるすべてのyt-1,yt-2,...yt−k+1y_{t-1}, y_{t-2},...,y_{t-k+1}yt−1​,yt−2​,...,yt−k+1の影響力は除去されることを意味する.yty t}ytとyt∂ky t-k}yt∂kの間の馬蹄気象管を求め、以下に示す.
    PACF(k)=Corr(et,et−k)PACF(k) = Corr(e_{t}, e_{t-k})PACF(k)=Corr(et​,et−k​)

    ACFとPACFの使い方


    通常、時間曲線を簡単に表示して、どのp値とq値がデータに適しているかを議論することはできません.しかしながら、ARIMAモデルでは、ACFパターンおよびPACFパターンを用いて、適切なpおよびq値を決定することができる場合がある.
    異なるk値について,yty tytとytyty t}ytがyt-1 y t-1}yt∮1と関係がある場合、yt∮1 y t-1}yt∮1とyt∮2 y t-2}yt∮2にも関係があるはずです.ただし、yty t}ytおよびyt–2 y t–2}yt–2は、yt–2 y t–2}yt–2に含まれる新しい情報に関係する可能性があります.この2つの値がyt–1 y t–1}yt–1に関係しているだけではありません.
    上記の問題を克服するために、PACFパターンを使用することができる.この値は時差1,2,3...、k−11, 2, 3, ..., k-11,2,3,...,k∮1効果を除去したy∮t∮yとy∮k∮t∮kの関係を測定した.従って、第1の部分の磁気相関は除去可能な部分がないので、第1の部分の磁気相関と同じ値を有し、各部分の磁気相関は磁気回帰モデルの最後の係数を測定するように測定することができる.
    ACFとPACFの形状からARIMAモデルのパラメータpとqを決定する方法は以下の通りである.

    .
    .
    .
    ありがとう!