【時間序列分析】01. 時間序列·平穩序列
時間序列 · 平穩序列
時間序列的定義
時間序列是按照時間次序排列的隨機變數序列。任何時間序列經過合理的函式變換後都可以被認為是由三個部分疊加而成的：趨勢項部分、週期項部分和隨機噪聲項部分。
X
t
=
T
t
+
S
t
+
R
t
,
t
=
1
,
2
,
.
.
.
X_t=T_t+S_t+R_t \ , \ \ \ \ t=1,2,...
Xt=Tt+St+Rt , t=1,2,...
時間序列在適當的去掉趨勢項和季節項後，剩下的隨機部分通常會有某種平穩性。帶有平穩性的時間序列是時間序列分析研究的重點。於是，引出平穩序列的相關概念和性質。
平穩序列的定義
對於獨立時間序列 { X t } \{X_t\} {Xt} ， ( X 1 , X 2 , . . . , X n ) (X_1,X_2,...,X_n) (X1,X2,...,Xn) 和 X n + 1 X_{n+1} Xn+1 獨立，從而不會含有任何關於 X n + 1 X_{n+1} Xn+1 的資訊。平穩時間序列的歷史記錄 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn 中往往含有 X n + 1 X_{n+1} Xn+1 的資訊，這就使得利用歷史樣本預測將來成為可能。
如果時間序列 { X t } \{X_t\} {Xt} 滿足
(1) 對任何 t ∈ N t\in\N t∈N ， E ( X t 2 ) < ∞ {\rm E}(X_t^2)<\infty E(Xt2)<∞ ；
(2) 對任何 t ∈ N t\in\N t∈N ， E ( X t ) = μ {\rm E}(X_t)=\mu E(Xt)=μ ；
(3) 對任何 t , s ∈ N t,\,s\in\N t,s∈N ， E [ ( X t − μ ) ( X s − μ ) ] = γ t − s {\rm E}[(X_t-\mu)(X_s-\mu)]=\gamma_{t-s} E[(Xt−μ)(Xs−μ)]=γt−s
就稱 { X t } \{X_t\} {Xt} 是平穩時間序列，稱實數列 { γ k } \{\gamma_k\} {γk} 為 { X t } \{X_t\} {Xt} 的自協方差函式。
平穩序列中的隨機變數 X t X_t Xt 的均值和方差都是與 t t t 無關的常數。
對任何
t
,
s
∈
Z
t,\,s\in\Z
t,s∈Z 和
k
∈
Z
k\in\Z
k∈Z ，
(
X
t
,
X
s
)
(X_t,\,X_s)
(Xt,Xs) 和平移
k
k
k 步後的
(
X
t
+
k
,
X
s
+
k
)
(X_{t+k},\,X_{s+k})
(Xt+k,Xs+k) 有相同的協方差：
C
o
v
(
X
t
,
X
s
)
=
C
o
v
(
X
t
+
k
,
X
s
+
k
)
=
γ
t
−
s
{\rm Cov}(X_t,\,X_s)={\rm Cov}(X_{t+k},\,X_{s+k})=\gamma_{t-s}
Cov(Xt,Xs)=Cov(Xt+k,Xs+k)=γt−s
即平穩序列的任意兩個隨機變數的協方差只與時間差有關，稱為協方差結構的平移不變性。
時間序列分析的重要特點之一是利用自協方差函式研究平穩序列的統計性質，因此需要對 { γ k } \{\gamma_k\} {γk} 的性質進行探討。
自協方差函式滿足以下三條基本性質：
(1) 對稱性： γ k = γ − k \gamma_k=\gamma_{-k} γk=γ−k ，對所有 k ∈ Z k\in\Z k∈Z 成立；
(2) 非負定性：對任何 n ∈ N + n\in\N_+ n∈N+ ， n n n 階自協方差矩陣
Γ n = ( γ k − j ) k , j = 1 n = [ γ 0 γ 1 ⋯ γ n − 1 γ 1 γ 0 ⋯ γ n − 2 ⋮ ⋮ ⋮ γ n − 1 γ n − 2 ⋯ γ 0 ] \boldsymbol{\Gamma}_n=(\gamma_{k-j})_{k,\,j=1}^n=\left[ \begin{array}{cccc} \gamma_0 & \gamma_1 & \cdots & \gamma_{n-1} \\ \gamma_1 & \gamma_0 & \cdots & \gamma_{n-2} \\ \vdots & \vdots & & \vdots \\ \gamma_{n-1} & \gamma_{n-2} & \cdots & \gamma_0 \\ \end{array} \right] Γn=(γk−j)k,j=1n=⎣⎢⎢⎢⎡γ0γ1⋮γn−1γ1γ0⋮γn−2⋯⋯⋯γn−1γn−2⋮γ0⎦⎥⎥⎥⎤
是非負定矩陣；(3) 有界性： ∣ γ k ∣ ≤ γ 0 |\gamma_k|\leq\gamma_0 ∣γk∣≤γ0 ，對所有 k ∈ Z k\in\Z k∈Z 成立。
任何滿足上述性質的實數列都被稱為非負定序列。
平穩序列的自協方差函式是非負定序列，每個非負定序列都可以是一個平穩序列的自協方差函式。
性質 (1) 的證明：由定義直接得到。
性質 (2) 的證明：任取一個
n
n
n 維實向量
a
n
=
(
a
1
,
a
2
,
.
.
.
,
a
n
)
T
\boldsymbol{a}_n=(a_1,a_2,...,a_n)^{\rm T}
an=(a1,a2,...,an)T ，
a
n
T
Γ
n
a
n
=
∑
i
=
1
n
∑
j
=
1
n
a
i
a
j
γ
i
−
j
=
∑
i
=
1
n
∑
j
=
1
n
a
i
a
j
E
[
(
X
i
−
μ
)
(
X
i
−
μ
)
]
=
E
(
∑
i
=
1
n
∑
j
=
1
n
a
i
a
j
(
X
i
−
μ
)
(
X
i
−
μ
)
)
=
E
(
∑
i
=
1
n
a
i
(
X
i
−
μ
)
)
2
=
V
a
r
(
∑
i
=
1
n
a
i
(
X
i
−
μ
)
)
≥
0.
\begin{aligned} \boldsymbol{a}_n^{\rm T}\boldsymbol{\Gamma}_n\boldsymbol{a}_n &=\sum_{i=1}^n\sum_{j=1}^na_ia_j\gamma_{i-j} \\ &=\sum_{i=1}^n\sum_{j=1}^na_ia_j{\rm E}[(X_{i}-\mu)(X_{i}-\mu)] \\ &={\rm E}\left(\sum_{i=1}^n\sum_{j=1}^na_ia_j(X_{i}-\mu)(X_{i}-\mu)\right) \\ &={\rm E}\left(\sum_{i=1}^na_i(X_i-\mu)\right)^2 \\ &={\rm Var}\left(\sum_{i=1}^na_i(X_i-\mu)\right)\geq0 . \end{aligned}
anTΓnan=i=1∑nj=1∑naiajγi−j=i=1∑nj=1∑naiajE[(Xi−μ)(Xi−μ)]=E(i=1∑nj=1∑naiaj(Xi−μ)(Xi−μ))=E(i=1∑nai(Xi−μ))2=Var(i=1∑nai(Xi−μ))≥0.
性質 (3) 的證明：需要利用柯西不等式。
首先對隨機變數進行中心化，取 Y t = X t − μ Y_t=X_t-\mu Yt=Xt−μ ，以後常假設均值為 0 0 0 ，可以將方差和二階矩等價聯絡起來。
由柯西不等式得：
∣
γ
k
∣
=
∣
E
(
Y
k
+
1
Y
1
)
∣
≤
E
Y
k
+
1
2
Y
1
2
=
γ
0
.
|\gamma_k|=|{\rm E}(Y_{k+1}Y_1)|\leq\sqrt{{\rm E}Y_{k+1}^2Y_1^2}=\gamma_0.
∣γk∣=∣E(Yk+1Y1)∣≤EYk+12Y12=γ0.
由自協方差函式的概念可以等價得到自相關係數的概念，在此之前需要引入標準化序列的概念。
由於平穩序列經過線性變換後仍然是平穩序列，因此特別取
Y
t
=
X
t
−
μ
γ
0
,
t
∈
Z
Y_t=\frac{X_t-\mu}{\displaystyle\sqrt{\gamma_0}}\ , \ \ \ \ t\in\Z
Yt=γ0Xt−μ , t∈Z
就得到標準化的平穩序列
{
Y
t
}
\{Y_t\}
{Yt} ，這時有
E
Y
t
=
0
{\rm E}Y_t=0
EYt=0 ，
E
Y
t
2
=
1
{\rm E}Y_t^2=1
EYt2=1 對每個
t
t
t 成立。
設平穩序列 { X t } \{X_t\} {Xt} 的標準化序列是 { Y t } \{Y_t\} {Yt} ， { Y t } \{Y_t\} {Yt} 的自協方差函式
ρ k = γ k γ 0 , k ∈ Z \rho_k=\frac{\gamma_k}{\gamma_0}\ , \ \ \ \ k\in\Z ρk=γ0γk , k∈Z
稱為平穩序列 { X t } \{X_t\} {Xt} 的自相關係數。
自相關係數 { ρ k } \{\rho_k\} {ρk} 滿足規範性，即 ρ 0 = 1 \rho_0=1 ρ0=1 且 ∣ ρ k ∣ ≤ 1 |\rho_k|\leq1 ∣ρk∣≤1 ，同樣也滿足對稱性和非負定性。
隨機變數的線性相關
定義隨機向量 X = ( X 1 , X 2 , . . . , X n ) T \boldsymbol{X}=(X_1,X_2,...,X_n)^{\rm T} X=(X1,X2,...,Xn)T ，則 Γ n = V a r ( X ) \boldsymbol{\Gamma}_n={\rm Var}(\boldsymbol{X}) Γn=Var(X) 。
關於隨機向量
X
\boldsymbol{X}
X 和矩陣
A
,
B
\boldsymbol{A},\,\boldsymbol{B}
A,B ，有
E
(
A
+
B
X
)
=
A
+
B
E
(
X
)
,
{\rm E}(\boldsymbol{A}+\boldsymbol{B}\boldsymbol{X})=\boldsymbol{A}+\boldsymbol{B}{\rm E}(\boldsymbol{X}),
E(A+BX)=A+BE(X),
V a r ( A + B X ) = B V a r ( X ) B T , {\rm Var}(\boldsymbol{A}+\boldsymbol{B}\boldsymbol{X})=\boldsymbol{B}{\rm Var}(\boldsymbol{X})\boldsymbol{B}^{\rm T}, Var(A+BX)=BVar(X)BT,
且 X \boldsymbol{X} X 的協方差陣 V a r ( X ) {\rm Var}(\boldsymbol{X}) Var(X) 總是非負定的。
我們已知自協方差矩陣 Γ n \boldsymbol{\Gamma}_n Γn 是非負定的，接下來討論的 Γ n \boldsymbol{\Gamma}_n Γn 退化條件，即 Γ n \boldsymbol{\Gamma}_n Γn 的不滿秩條件。
設向量
a
n
=
(
a
1
,
a
2
,
.
.
.
,
a
n
)
T
\boldsymbol{a}_n=(a_1,a_2,...,a_n)^{\rm T}
an=(a1,a2,...,an)T ，則
a
n
T
Γ
n
a
n
=
V
a
r
(
a
n
T
X
)
=
V
a
r
(
∑
i
=
1
n
a
i
X
i
)
≥
0
\boldsymbol{a}_n^{\rm T}\boldsymbol{\Gamma}_n\boldsymbol{a}_n={\rm Var}(\boldsymbol{a}_n^{\rm T}\boldsymbol{X})={\rm Var}\left(\sum_{i=1}^na_iX_i\right)\geq0
anTΓnan=Var(anTX)=Var(i=1∑naiXi)≥0
因此
Γ
n
\boldsymbol{\Gamma}_n
Γn 退化當且僅當存在一個非零向量
a
n
≠
0
\boldsymbol{a}_n\neq0
an=0 使得
V
a
r
(
a
n
T
X
)
=
V
a
r
(
∑
i
=
1
n
a
i
X
i
)
=
0
{\rm Var}(\boldsymbol{a}_n^{\rm T}\boldsymbol{X})={\rm Var}\left(\sum_{i=1}^na_iX_i\right)=0
Var(anTX)=Var(i=1∑naiXi)=0
這時稱隨機變數
X
1
,
X
2
,
.
.
.
,
X
n
X_1,X_2,...,X_n
X1,X2,...,Xn 是線性相關的，即
X
1
,
X
2
,
.
.
.
,
X
n
X_1,X_2,...,X_n
X1,X2,...,Xn 的非零線性組合
a
n
T
X
\boldsymbol{a}_n^{\rm T}\boldsymbol{X}
anTX 是退化隨機變數（常數）。
進一步有如果 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn 線性相關，則只要 m ≥ n m\geq n m≥n ，有 X 1 , X 2 , . . . , X m X_1,X_2,...,X_m X1,X2,...,Xm 線性相關。
白噪聲序列
白噪聲是用來描述簡單隨機干擾的平穩序列，是最簡單的平穩序列。
設 { ϵ t } \{\epsilon_t\} {ϵt} 是一個平穩序列，如果對任何 s , t ∈ N s,\,t\in\N s,t∈N ，
E ( ϵ t ) = μ , C o v ( ϵ t , ϵ s ) = { σ 2 , t = s , 0 , t ≠ s , {\rm E}(\epsilon_t)=\mu \ , \ \ \ \ {\rm Cov}(\epsilon_t,\,\epsilon_s)=\left\{ \begin{array}{ll} \sigma^2\ , & t=s\ ,\\ 0\ , & t\neq s\ , \end{array} \right. E(ϵt)=μ , Cov(ϵt,ϵs)={σ2 ,0 ,t=s ,t=s ,
就稱 { ϵ t } \{\epsilon_t\} {ϵt} 是一個白噪聲，記作 W N ( μ , σ 2 ) {\rm WN}(\mu,\,\sigma^2) WN(μ,σ2) 。
- 當 { ϵ t } \{\epsilon_t\} {ϵt} 是獨立序列時，稱 { ϵ t } \{\epsilon_t\} {ϵt} 是獨立白噪聲；
- 當 μ = 0 \mu=0 μ=0 時，稱 { ϵ t } \{\epsilon_t\} {ϵt} 是零均值白噪聲；
- 當 μ = 0 \mu=0 μ=0 且 σ 2 = 1 \sigma^2=1 σ2=1 時，稱 { ϵ t } \{\epsilon_t\} {ϵt} 是標準白噪聲；
- 當 ϵ t ∼ N ( 0 , 1 ) \epsilon_t\sim{\rm N}(0,\,1) ϵt∼N(0,1) 時，稱 { ϵ t } \{\epsilon_t\} {ϵt} 是正態白噪聲，易證正態白噪聲也是一類獨立白噪聲。
正交平穩序列
首先引入隨機變數的正交性和不相關性的概念。
設 X X X 和 Y Y Y 是方差有限的隨機變數，如果 E ( X Y ) = 0 {\rm E}(XY)=0 E(XY)=0 ，就稱 X X X 和 Y Y Y 是正交的。如果 C o v ( X , Y ) = 0 {\rm Cov}(X,\,Y)=0 Cov(X,Y)=0 ，就稱 X X X 和 Y Y Y 是不相關的。
對於零均值的隨機變數，正交性和不相關性等價。
下面給出平穩序列的正交性和不相關性的概念。
對於平穩序列 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} ，
如果對任何 s , t ∈ Z s,\,t\in\Z s,t∈Z ， E ( X t Y s ) = 0 {\rm E}(X_tY_s)=0 E(XtYs)=0 ，則稱 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} 是正交的；
如果對任何 s , t ∈ Z s,\,t\in\Z s,t∈Z ， C o v ( X t , Y s ) = 0 {\rm Cov}(X_t,\,Y_s)=0 Cov(Xt,Ys)=0 ，則稱 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} 是不相關的；
對於零均值的平穩序列，正交性和不相關性等價。
具有正交性或不相關性的平穩序列具有如下良好的性質：
設平穩序列 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} 的自協方差函式分別為 γ X ( k ) \gamma_X(k) γX(k) 和 γ Y ( k ) \gamma_Y(k) γY(k) ，數學期望分別為 μ X \mu_X μX 和 μ Y \mu_Y μY 。定義
Z t = X t + Y t , t ∈ Z . Z_t=X_t+Y_t \ , \ \ \ \ t\in\Z . Zt=Xt+Yt , t∈Z.
(1) 如果 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} 正交，則 { Z t } \{Z_t\} {Zt} 是平穩序列，且有自協方差函式
γ Z ( k ) = γ X ( k ) + γ Y ( k ) − 2 μ X μ Y , k = 0 , 1 , 2 , . . . \gamma_Z(k)=\gamma_X(k)+\gamma_Y(k)-2\mu_X\mu_Y\ , \ \ \ \ k=0,1,2,... γZ(k)=γX(k)+γY(k)−2μXμY , k=0,1,2,...
(2) 如果 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} 不相關，則 { Z t } \{Z_t\} {Zt} 是平穩序列，且有自協方差函式
γ Z ( k ) = γ X ( k ) + γ Y ( k ) , k = 0 , 1 , 2 , . . . \gamma_Z(k)=\gamma_X(k)+\gamma_Y(k)\ , \ \ \ \ k=0,1,2,... γZ(k)=γX(k)+γY(k) , k=0,1,2,...
證明 { Z t } \{Z_t\} {Zt} 是平穩序列需要證明以下三條性質
二階矩有限：
E
Z
t
2
=
E
(
X
t
+
Y
t
)
2
≤
E
(
X
t
2
+
Y
t
2
)
<
∞
.
{\rm E}Z_t^2={\rm E}(X_t+Y_t)^2\leq{\rm E}(X_t^2+Y_t^2)<\infty.
EZt2=E(Xt+Yt)2≤E(Xt2+Yt2)<∞.
均值為常數：
μ
Z
=
E
Z
t
=
E
(
X
t
+
Y
t
)
=
μ
X
+
μ
Y
.
\mu_Z={\rm E}Z_t={\rm E}(X_t+Y_t)=\mu_X+\mu_Y.
μZ=EZt=E(Xt+Yt)=μX+μY.
自協方差函式只與時間差有關：
如果
{
X
t
}
\{X_t\}
{Xt} 和
{
Y
t
}
\{Y_t\}
{Yt} 正交：
C
o
v
(
Z
t
,
Z
s
)
=
C
o
v
(
X
t
,
X
s
)
+
C
o
v
(
X
t
,
Y
s
)
+
C
o
v
(
Y
t
,
X
s
)
+
C
o
v
(
Y
t
,
Y
s
)
=
γ
X
(
t
−
s
)
+
γ
Y
(
t
−
s
)
+
E
(
X
t
Y
s
)
−
E
(
X
t
)
E
(
Y
s
)
+
E
(
Y
t
X
s
)
−
E
(
Y
t
)
E
(
X
s
)
=
γ
X
(
t
−
s
)
+
γ
Y
(
t
−
s
)
+
0
−
μ
X
μ
Y
+
0
−
μ
X
μ
Y
=
γ
X
(
t
−
s
)
+
γ
Y
(
t
−
s
)
−
2
μ
X
μ
Y
.
\begin{aligned} {\rm Cov}(Z_t,\,Z_s)&={\rm Cov}(X_t,\,X_s)+{\rm Cov}(X_t,\,Y_s)+{\rm Cov}(Y_t,\,X_s)+{\rm Cov}(Y_t,\,Y_s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s)+{\rm E}(X_tY_s)-{\rm E}(X_t){\rm E}(Y_s)+{\rm E}(Y_tX_s)-{\rm E}(Y_t){\rm E}(X_s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s)+0-\mu_X\mu_Y+0-\mu_X\mu_Y \\ &=\gamma_X(t-s)+\gamma_Y(t-s)-2\mu_X\mu_Y. \end{aligned}
Cov(Zt,Zs)=Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)=γX(t−s)+γY(t−s)+E(XtYs)−E(Xt)E(Ys)+E(YtXs)−E(Yt)E(Xs)=γX(t−s)+γY(t−s)+0−μXμY+0−μXμY=γX(t−s)+γY(t−s)−2μXμY.
如果
{
X
t
}
\{X_t\}
{Xt} 和
{
Y
t
}
\{Y_t\}
{Yt} 不相關：
C
o
v
(
Z
t
,
Z
s
)
=
C
o
v
(
X
t
,
X
s
)
+
C
o
v
(
X
t
,
Y
s
)
+
C
o
v
(
Y
t
,
X
s
)
+
C
o
v
(
Y
t
,
Y
s
)
=
γ
X
(
t
−
s
)
+
0
+
0
+
γ
Y
(
t
−
s
)
=
γ
X
(
t
−
s
)
+
γ
Y
(
t
−
s
)
.
\begin{aligned} {\rm Cov}(Z_t,\,Z_s)&={\rm Cov}(X_t,\,X_s)+{\rm Cov}(X_t,\,Y_s)+{\rm Cov}(Y_t,\,X_s)+{\rm Cov}(Y_t,\,Y_s) \\ &=\gamma_X(t-s)+0+0+\gamma_Y(t-s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s). \end{aligned}
Cov(Zt,Zs)=Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)=γX(t−s)+0+0+γY(t−s)=γX(t−s)+γY(t−s).
令
t
−
s
=
k
t-s=k
t−s=k 即可得證自協方差函式的表示式。
相關文章
- 時間序列分析基本思想及時間序列建模步驟
- Python 時間序列分析Python
- 時間序列分析(二)--指數平滑
- python 時間序列Python
- 時間序列平穩性、白噪聲、隨機遊走隨機
- 時間序列分析(一)--移動平均
- eviews時間序列分析課堂筆記View筆記
- 人工智慧 (07) 時間序列資料分析人工智慧
- [譯] Python 的時間序列分析：簡介Python
- 時間序列分析 | 相似性度量基本方法
- 時間序列資料的處理
- 用R語言進行時間序列ARMA模型分析R語言模型
- 應用時間序列法預測收入
- 遷移學習時間序列分類遷移學習
- 技術乾貨| MongoDB時間序列集合MongoDB
- [譯] 層次時間序列預測法
- 大資料分析筆記 (7) - 時間序列分析(Time Series Analysis)大資料筆記
- 用Python語言進行時間序列ARIMA模型分析Python模型
- 會思考的飲水機：基於時間序列分析節能30%+
- 使用MongoDB儲存時間序列資料 - DACMongoDB
- python時間序列缺失值補零Python
- [譯] 時間序列異常檢測演算法演算法
- 從零寫一個時間序列資料庫資料庫
- 時間序列資料如何助力釀酒和BBQ?
- 時間序列基本概念、任務、預測方法
- Python Pandas 時間序列雙軸折線圖Python
- 時間序列知識圖譜-《利用Python進行資料分析》Python
- Facebook時間序列預測演算法Prophet的研究演算法
- Tensorflow 視窗時間序列資料的處理
- 適合時間序列資料的計算指令碼指令碼
- 時間序列資料壓縮演算法簡述演算法
- InfluxData正在投資於其時間序列專業化UX
- Python ArcPy批次拼接長時間序列柵格影像Python
- 時間序列 ACF 和 PACF 理解、程式碼、視覺化視覺化
- Prophet：教你如何用加法模型探索時間序列資料模型
- TCP頭時間戳選項與迴繞序列號TCP時間戳
- 驅動跨行業採用時間序列平臺的四個用例行業
- 用python做時間序列預測一：初識概念Python