【時間序列分析】01. 時間序列·平穩序列
時間序列 · 平穩序列
時間序列的定義
時間序列是按照時間次序排列的隨機變數序列。任何時間序列經過合理的函式變換後都可以被認為是由三個部分疊加而成的：趨勢項部分、週期項部分和隨機噪聲項部分。
X
t
=
T
t
+
S
t
+
R
t
,
t
=
1
,
2
,
.
.
.
X_t=T_t+S_t+R_t \ , \ \ \ \ t=1,2,...
Xt=Tt+St+Rt , t=1,2,...
時間序列在適當的去掉趨勢項和季節項後，剩下的隨機部分通常會有某種平穩性。帶有平穩性的時間序列是時間序列分析研究的重點。於是，引出平穩序列的相關概念和性質。
平穩序列的定義
對於獨立時間序列 { X t } \{X_t\} {Xt} ， ( X 1 , X 2 , . . . , X n ) (X_1,X_2,...,X_n) (X1,X2,...,Xn) 和 X n + 1 X_{n+1} Xn+1 獨立，從而不會含有任何關於 X n + 1 X_{n+1} Xn+1 的資訊。平穩時間序列的歷史記錄 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn 中往往含有 X n + 1 X_{n+1} Xn+1 的資訊，這就使得利用歷史樣本預測將來成為可能。
如果時間序列 { X t } \{X_t\} {Xt} 滿足
(1) 對任何 t ∈ N t\in\N t∈N ， E ( X t 2 ) < ∞ {\rm E}(X_t^2)<\infty E(Xt2)<∞ ；
(2) 對任何 t ∈ N t\in\N t∈N ， E ( X t ) = μ {\rm E}(X_t)=\mu E(Xt)=μ ；
(3) 對任何 t , s ∈ N t,\,s\in\N t,s∈N ， E [ ( X t − μ ) ( X s − μ ) ] = γ t − s {\rm E}[(X_t-\mu)(X_s-\mu)]=\gamma_{t-s} E[(Xt−μ)(Xs−μ)]=γt−s
就稱 { X t } \{X_t\} {Xt} 是平穩時間序列，稱實數列 { γ k } \{\gamma_k\} {γk} 為 { X t } \{X_t\} {Xt} 的自協方差函式。
平穩序列中的隨機變數 X t X_t Xt 的均值和方差都是與 t t t 無關的常數。
對任何
t
,
s
∈
Z
t,\,s\in\Z
t,s∈Z 和
k
∈
Z
k\in\Z
k∈Z ，
(
X
t
,
X
s
)
(X_t,\,X_s)
(Xt,Xs) 和平移
k
k
k 步後的
(
X
t
+
k
,
X
s
+
k
)
(X_{t+k},\,X_{s+k})
(Xt+k,Xs+k) 有相同的協方差：
C
o
v
(
X
t
,
X
s
)
=
C
o
v
(
X
t
+
k
,
X
s
+
k
)
=
γ
t
−
s
{\rm Cov}(X_t,\,X_s)={\rm Cov}(X_{t+k},\,X_{s+k})=\gamma_{t-s}
Cov(Xt,Xs)=Cov(Xt+k,Xs+k)=γt−s
即平穩序列的任意兩個隨機變數的協方差只與時間差有關，稱為協方差結構的平移不變性。
時間序列分析的重要特點之一是利用自協方差函式研究平穩序列的統計性質，因此需要對 { γ k } \{\gamma_k\} {γk} 的性質進行探討。
自協方差函式滿足以下三條基本性質：
(1) 對稱性： γ k = γ − k \gamma_k=\gamma_{-k} γk=γ−k ，對所有 k ∈ Z k\in\Z k∈Z 成立；
(2) 非負定性：對任何 n ∈ N + n\in\N_+ n∈N+ ， n n n 階自協方差矩陣
Γ n = ( γ k − j ) k , j = 1 n = [ γ 0 γ 1 ⋯ γ n − 1 γ 1 γ 0 ⋯ γ n − 2 ⋮ ⋮ ⋮ γ n − 1 γ n − 2 ⋯ γ 0 ] \boldsymbol{\Gamma}_n=(\gamma_{k-j})_{k,\,j=1}^n=\left[ \begin{array}{cccc} \gamma_0 & \gamma_1 & \cdots & \gamma_{n-1} \\ \gamma_1 & \gamma_0 & \cdots & \gamma_{n-2} \\ \vdots & \vdots & & \vdots \\ \gamma_{n-1} & \gamma_{n-2} & \cdots & \gamma_0 \\ \end{array} \right] Γn=(γk−j)k,j=1n=⎣⎢⎢⎢⎡γ0γ1⋮γn−1γ1γ0⋮γn−2⋯⋯⋯γn−1γn−2⋮γ0⎦⎥⎥⎥⎤
是非負定矩陣；(3) 有界性： ∣ γ k ∣ ≤ γ 0 |\gamma_k|\leq\gamma_0 ∣γk∣≤γ0 ，對所有 k ∈ Z k\in\Z k∈Z 成立。
任何滿足上述性質的實數列都被稱為非負定序列。
平穩序列的自協方差函式是非負定序列，每個非負定序列都可以是一個平穩序列的自協方差函式。
性質 (1) 的證明：由定義直接得到。
性質 (2) 的證明：任取一個
n
n
n 維實向量
a
n
=
(
a
1
,
a
2
,
.
.
.
,
a
n
)
T
\boldsymbol{a}_n=(a_1,a_2,...,a_n)^{\rm T}
an=(a1,a2,...,an)T ，
a
n
T
Γ
n
a
n
=
∑
i
=
1
n
∑
j
=
1
n
a
i
a
j
γ
i
−
j
=
∑
i
=
1
n
∑
j
=
1
n
a
i
a
j
E
[
(
X
i
−
μ
)
(
X
i
−
μ
)
]
=
E
(
∑
i
=
1
n
∑
j
=
1
n
a
i
a
j
(
X
i
−
μ
)
(
X
i
−
μ
)
)
=
E
(
∑
i
=
1
n
a
i
(
X
i
−
μ
)
)
2
=
V
a
r
(
∑
i
=
1
n
a
i
(
X
i
−
μ
)
)
≥
0.
\begin{aligned} \boldsymbol{a}_n^{\rm T}\boldsymbol{\Gamma}_n\boldsymbol{a}_n &=\sum_{i=1}^n\sum_{j=1}^na_ia_j\gamma_{i-j} \\ &=\sum_{i=1}^n\sum_{j=1}^na_ia_j{\rm E}[(X_{i}-\mu)(X_{i}-\mu)] \\ &={\rm E}\left(\sum_{i=1}^n\sum_{j=1}^na_ia_j(X_{i}-\mu)(X_{i}-\mu)\right) \\ &={\rm E}\left(\sum_{i=1}^na_i(X_i-\mu)\right)^2 \\ &={\rm Var}\left(\sum_{i=1}^na_i(X_i-\mu)\right)\geq0 . \end{aligned}
anTΓnan=i=1∑nj=1∑naiajγi−j=i=1∑nj=1∑naiajE[(Xi−μ)(Xi−μ)]=E(i=1∑nj=1∑naiaj(Xi−μ)(Xi−μ))=E(i=1∑nai(Xi−μ))2=Var(i=1∑nai(Xi−μ))≥0.
性質 (3) 的證明：需要利用柯西不等式。
首先對隨機變數進行中心化，取 Y t = X t − μ Y_t=X_t-\mu Yt=Xt−μ ，以後常假設均值為 0 0 0 ，可以將方差和二階矩等價聯絡起來。
由柯西不等式得：
∣
γ
k
∣
=
∣
E
(
Y
k
+
1
Y
1
)
∣
≤
E
Y
k
+
1
2
Y
1
2
=
γ
0
.
|\gamma_k|=|{\rm E}(Y_{k+1}Y_1)|\leq\sqrt{{\rm E}Y_{k+1}^2Y_1^2}=\gamma_0.
∣γk∣=∣E(Yk+1Y1)∣≤EYk+12Y12=γ0.
由自協方差函式的概念可以等價得到自相關係數的概念，在此之前需要引入標準化序列的概念。
由於平穩序列經過線性變換後仍然是平穩序列，因此特別取
Y
t
=
X
t
−
μ
γ
0
,
t
∈
Z
Y_t=\frac{X_t-\mu}{\displaystyle\sqrt{\gamma_0}}\ , \ \ \ \ t\in\Z
Yt=γ0Xt−μ , t∈Z
就得到標準化的平穩序列
{
Y
t
}
\{Y_t\}
{Yt} ，這時有
E
Y
t
=
0
{\rm E}Y_t=0
EYt=0 ，
E
Y
t
2
=
1
{\rm E}Y_t^2=1
EYt2=1 對每個
t
t
t 成立。
設平穩序列 { X t } \{X_t\} {Xt} 的標準化序列是 { Y t } \{Y_t\} {Yt} ， { Y t } \{Y_t\} {Yt} 的自協方差函式
ρ k = γ k γ 0 , k ∈ Z \rho_k=\frac{\gamma_k}{\gamma_0}\ , \ \ \ \ k\in\Z ρk=γ0γk , k∈Z
稱為平穩序列 { X t } \{X_t\} {Xt} 的自相關係數。
自相關係數 { ρ k } \{\rho_k\} {ρk} 滿足規範性，即 ρ 0 = 1 \rho_0=1 ρ0=1 且 ∣ ρ k ∣ ≤ 1 |\rho_k|\leq1 ∣ρk∣≤1 ，同樣也滿足對稱性和非負定性。
隨機變數的線性相關
定義隨機向量 X = ( X 1 , X 2 , . . . , X n ) T \boldsymbol{X}=(X_1,X_2,...,X_n)^{\rm T} X=(X1,X2,...,Xn)T ，則 Γ n = V a r ( X ) \boldsymbol{\Gamma}_n={\rm Var}(\boldsymbol{X}) Γn=Var(X) 。
關於隨機向量
X
\boldsymbol{X}
X 和矩陣
A
,
B
\boldsymbol{A},\,\boldsymbol{B}
A,B ，有
E
(
A
+
B
X
)
=
A
+
B
E
(
X
)
,
{\rm E}(\boldsymbol{A}+\boldsymbol{B}\boldsymbol{X})=\boldsymbol{A}+\boldsymbol{B}{\rm E}(\boldsymbol{X}),
E(A+BX)=A+BE(X),
V a r ( A + B X ) = B V a r ( X ) B T , {\rm Var}(\boldsymbol{A}+\boldsymbol{B}\boldsymbol{X})=\boldsymbol{B}{\rm Var}(\boldsymbol{X})\boldsymbol{B}^{\rm T}, Var(A+BX)=BVar(X)BT,
且 X \boldsymbol{X} X 的協方差陣 V a r ( X ) {\rm Var}(\boldsymbol{X}) Var(X) 總是非負定的。
我們已知自協方差矩陣 Γ n \boldsymbol{\Gamma}_n Γn 是非負定的，接下來討論的 Γ n \boldsymbol{\Gamma}_n Γn 退化條件，即 Γ n \boldsymbol{\Gamma}_n Γn 的不滿秩條件。
設向量
a
n
=
(
a
1
,
a
2
,
.
.
.
,
a
n
)
T
\boldsymbol{a}_n=(a_1,a_2,...,a_n)^{\rm T}
an=(a1,a2,...,an)T ，則
a
n
T
Γ
n
a
n
=
V
a
r
(
a
n
T
X
)
=
V
a
r
(
∑
i
=
1
n
a
i
X
i
)
≥
0
\boldsymbol{a}_n^{\rm T}\boldsymbol{\Gamma}_n\boldsymbol{a}_n={\rm Var}(\boldsymbol{a}_n^{\rm T}\boldsymbol{X})={\rm Var}\left(\sum_{i=1}^na_iX_i\right)\geq0
anTΓnan=Var(anTX)=Var(i=1∑naiXi)≥0
因此
Γ
n
\boldsymbol{\Gamma}_n
Γn 退化當且僅當存在一個非零向量
a
n
≠
0
\boldsymbol{a}_n\neq0
an=0 使得
V
a
r
(
a
n
T
X
)
=
V
a
r
(
∑
i
=
1
n
a
i
X
i
)
=
0
{\rm Var}(\boldsymbol{a}_n^{\rm T}\boldsymbol{X})={\rm Var}\left(\sum_{i=1}^na_iX_i\right)=0
Var(anTX)=Var(i=1∑naiXi)=0
這時稱隨機變數
X
1
,
X
2
,
.
.
.
,
X
n
X_1,X_2,...,X_n
X1,X2,...,Xn 是線性相關的，即
X
1
,
X
2
,
.
.
.
,
X
n
X_1,X_2,...,X_n
X1,X2,...,Xn 的非零線性組合
a
n
T
X
\boldsymbol{a}_n^{\rm T}\boldsymbol{X}
anTX 是退化隨機變數（常數）。
進一步有如果 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn 線性相關，則只要 m ≥ n m\geq n m≥n ，有 X 1 , X 2 , . . . , X m X_1,X_2,...,X_m X1,X2,...,Xm 線性相關。
白噪聲序列
白噪聲是用來描述簡單隨機干擾的平穩序列，是最簡單的平穩序列。
設 { ϵ t } \{\epsilon_t\} {ϵt} 是一個平穩序列，如果對任何 s , t ∈ N s,\,t\in\N s,t∈N ，
E ( ϵ t ) = μ , C o v ( ϵ t , ϵ s ) = { σ 2 , t = s , 0 , t ≠ s , {\rm E}(\epsilon_t)=\mu \ , \ \ \ \ {\rm Cov}(\epsilon_t,\,\epsilon_s)=\left\{ \begin{array}{ll} \sigma^2\ , & t=s\ ,\\ 0\ , & t\neq s\ , \end{array} \right. E(ϵt)=μ , Cov(ϵt,ϵs)={σ2 ,0 ,t=s ,t=s ,
就稱 { ϵ t } \{\epsilon_t\} {ϵt} 是一個白噪聲，記作 W N ( μ , σ 2 ) {\rm WN}(\mu,\,\sigma^2) WN(μ,σ2) 。
- 當 { ϵ t } \{\epsilon_t\} {ϵt} 是獨立序列時，稱 { ϵ t } \{\epsilon_t\} {ϵt} 是獨立白噪聲；
- 當 μ = 0 \mu=0 μ=0 時，稱 { ϵ t } \{\epsilon_t\} {ϵt} 是零均值白噪聲；
- 當 μ = 0 \mu=0 μ=0 且 σ 2 = 1 \sigma^2=1 σ2=1 時，稱 { ϵ t } \{\epsilon_t\} {ϵt} 是標準白噪聲；
- 當 ϵ t ∼ N ( 0 , 1 ) \epsilon_t\sim{\rm N}(0,\,1) ϵt∼N(0,1) 時，稱 { ϵ t } \{\epsilon_t\} {ϵt} 是正態白噪聲，易證正態白噪聲也是一類獨立白噪聲。
正交平穩序列
首先引入隨機變數的正交性和不相關性的概念。
設 X X X 和 Y Y Y 是方差有限的隨機變數，如果 E ( X Y ) = 0 {\rm E}(XY)=0 E(XY)=0 ，就稱 X X X 和 Y Y Y 是正交的。如果 C o v ( X , Y ) = 0 {\rm Cov}(X,\,Y)=0 Cov(X,Y)=0 ，就稱 X X X 和 Y Y Y 是不相關的。
對於零均值的隨機變數，正交性和不相關性等價。
下面給出平穩序列的正交性和不相關性的概念。
對於平穩序列 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} ，
如果對任何 s , t ∈ Z s,\,t\in\Z s,t∈Z ， E ( X t Y s ) = 0 {\rm E}(X_tY_s)=0 E(XtYs)=0 ，則稱 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} 是正交的；
如果對任何 s , t ∈ Z s,\,t\in\Z s,t∈Z ， C o v ( X t , Y s ) = 0 {\rm Cov}(X_t,\,Y_s)=0 Cov(Xt,Ys)=0 ，則稱 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} 是不相關的；
對於零均值的平穩序列，正交性和不相關性等價。
具有正交性或不相關性的平穩序列具有如下良好的性質：
設平穩序列 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} 的自協方差函式分別為 γ X ( k ) \gamma_X(k) γX(k) 和 γ Y ( k ) \gamma_Y(k) γY(k) ，數學期望分別為 μ X \mu_X μX 和 μ Y \mu_Y μY 。定義
Z t = X t + Y t , t ∈ Z . Z_t=X_t+Y_t \ , \ \ \ \ t\in\Z . Zt=Xt+Yt , t∈Z.
(1) 如果 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} 正交，則 { Z t } \{Z_t\} {Zt} 是平穩序列，且有自協方差函式
γ Z ( k ) = γ X ( k ) + γ Y ( k ) − 2 μ X μ Y , k = 0 , 1 , 2 , . . . \gamma_Z(k)=\gamma_X(k)+\gamma_Y(k)-2\mu_X\mu_Y\ , \ \ \ \ k=0,1,2,... γZ(k)=γX(k)+γY(k)−2μXμY , k=0,1,2,...
(2) 如果 { X t } \{X_t\} {Xt} 和 { Y t } \{Y_t\} {Yt} 不相關，則 { Z t } \{Z_t\} {Zt} 是平穩序列，且有自協方差函式
γ Z ( k ) = γ X ( k ) + γ Y ( k ) , k = 0 , 1 , 2 , . . . \gamma_Z(k)=\gamma_X(k)+\gamma_Y(k)\ , \ \ \ \ k=0,1,2,... γZ(k)=γX(k)+γY(k) , k=0,1,2,...
證明 { Z t } \{Z_t\} {Zt} 是平穩序列需要證明以下三條性質
二階矩有限：
E
Z
t
2
=
E
(
X
t
+
Y
t
)
2
≤
E
(
X
t
2
+
Y
t
2
)
<
∞
.
{\rm E}Z_t^2={\rm E}(X_t+Y_t)^2\leq{\rm E}(X_t^2+Y_t^2)<\infty.
EZt2=E(Xt+Yt)2≤E(Xt2+Yt2)<∞.
均值為常數：
μ
Z
=
E
Z
t
=
E
(
X
t
+
Y
t
)
=
μ
X
+
μ
Y
.
\mu_Z={\rm E}Z_t={\rm E}(X_t+Y_t)=\mu_X+\mu_Y.
μZ=EZt=E(Xt+Yt)=μX+μY.
自協方差函式只與時間差有關：
如果
{
X
t
}
\{X_t\}
{Xt} 和
{
Y
t
}
\{Y_t\}
{Yt} 正交：
C
o
v
(
Z
t
,
Z
s
)
=
C
o
v
(
X
t
,
X
s
)
+
C
o
v
(
X
t
,
Y
s
)
+
C
o
v
(
Y
t
,
X
s
)
+
C
o
v
(
Y
t
,
Y
s
)
=
γ
X
(
t
−
s
)
+
γ
Y
(
t
−
s
)
+
E
(
X
t
Y
s
)
−
E
(
X
t
)
E
(
Y
s
)
+
E
(
Y
t
X
s
)
−
E
(
Y
t
)
E
(
X
s
)
=
γ
X
(
t
−
s
)
+
γ
Y
(
t
−
s
)
+
0
−
μ
X
μ
Y
+
0
−
μ
X
μ
Y
=
γ
X
(
t
−
s
)
+
γ
Y
(
t
−
s
)
−
2
μ
X
μ
Y
.
\begin{aligned} {\rm Cov}(Z_t,\,Z_s)&={\rm Cov}(X_t,\,X_s)+{\rm Cov}(X_t,\,Y_s)+{\rm Cov}(Y_t,\,X_s)+{\rm Cov}(Y_t,\,Y_s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s)+{\rm E}(X_tY_s)-{\rm E}(X_t){\rm E}(Y_s)+{\rm E}(Y_tX_s)-{\rm E}(Y_t){\rm E}(X_s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s)+0-\mu_X\mu_Y+0-\mu_X\mu_Y \\ &=\gamma_X(t-s)+\gamma_Y(t-s)-2\mu_X\mu_Y. \end{aligned}
Cov(Zt,Zs)=Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)=γX(t−s)+γY(t−s)+E(XtYs)−E(Xt)E(Ys)+E(YtXs)−E(Yt)E(Xs)=γX(t−s)+γY(t−s)+0−μXμY+0−μXμY=γX(t−s)+γY(t−s)−2μXμY.
如果
{
X
t
}
\{X_t\}
{Xt} 和
{
Y
t
}
\{Y_t\}
{Yt} 不相關：
C
o
v
(
Z
t
,
Z
s
)
=
C
o
v
(
X
t
,
X
s
)
+
C
o
v
(
X
t
,
Y
s
)
+
C
o
v
(
Y
t
,
X
s
)
+
C
o
v
(
Y
t
,
Y
s
)
=
γ
X
(
t
−
s
)
+
0
+
0
+
γ
Y
(
t
−
s
)
=
γ
X
(
t
−
s
)
+
γ
Y
(
t
−
s
)
.
\begin{aligned} {\rm Cov}(Z_t,\,Z_s)&={\rm Cov}(X_t,\,X_s)+{\rm Cov}(X_t,\,Y_s)+{\rm Cov}(Y_t,\,X_s)+{\rm Cov}(Y_t,\,Y_s) \\ &=\gamma_X(t-s)+0+0+\gamma_Y(t-s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s). \end{aligned}
Cov(Zt,Zs)=Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)=γX(t−s)+0+0+γY(t−s)=γX(t−s)+γY(t−s).
令
t
−
s
=
k
t-s=k
t−s=k 即可得證自協方差函式的表示式。
相關文章
- 時間序列分析
- Python 時間序列分析Python
- 時間序列分析基本思想及時間序列建模步驟
- python 時間序列Python
- 時間序列分析(二)--指數平滑
- 時間序列分析(一)--移動平均
- 將VAE用於時間序列：生成時間序列的合成資料
- 時間序列結構變化分析：Python實現時間序列變化點檢測Python
- 時間序列平穩性、白噪聲、隨機遊走隨機
- 計量經濟學導論08：平穩時間序列
- 時間序列乾貨大全
- 時間序列分段法
- 時間序列|全景介紹
- 論文---時間序列----TimeLLM
- 論文---時間序列--DLinear
- 時間序列交叉驗證
- [譯] Python 的時間序列分析：簡介Python
- eviews時間序列分析課堂筆記View筆記
- 人工智慧 (07) 時間序列資料分析人工智慧
- 時間序列分析專題——指數平滑模型模型
- 時間序列分析 | 相似性度量基本方法
- 基於圖論的時間序列資料平穩性與連通性分析：利用圖形、數學和 Python 揭示時間序列資料中的隱藏模式圖論Python模式
- FredNormer: 非平穩時間序列預測的頻域正則化方法ORM
- 時間序列資料的處理
- SAS EM（六）時間序列理論
- 用R語言進行時間序列ARMA模型分析R語言模型
- 用Python語言進行時間序列ARIMA模型分析Python模型
- [深度學習] 時間序列分析工具TSLiB庫使用指北深度學習
- 遷移學習時間序列分類遷移學習
- python時間序列缺失值補零Python
- 應用時間序列法預測收入
- 時間序列神器之爭：prophet VS lstm
- 如何用XGBoost做時間序列預測？
- 技術乾貨| MongoDB時間序列集合MongoDB
- [譯] 層次時間序列預測法
- 大資料分析筆記 (7) - 時間序列分析(Time Series Analysis)大資料筆記
- 【SpringBoot】 中時間型別 序列化、反序列化、格式處理Spring Boot型別
- Python Pandas 時間序列雙軸折線圖Python