方差
期望反應的時均值概念，方差反應的則是資料的波動概念，為了防止±波動在求和過程中抵消以及防止求abs導致的不可導問題，我們使用平方來統計波動資料。隨機變數的方差定義為：
\[D(X)= E[(X-E(X))^2]
\]
對上式展開:
\[D(X) = E\lbrace X^2 -2XE(X) + E(X)^2 \rbrace = \\
E(X^2) - 2E(X)E(X) + E(X)^2 = \\ E(X^2) - E(X)^2
\]
方差的性質
- \(D(X+C) = D(X)\)
證：
\[D(X+C) = E[(X+C)^2] - E(X+C)^2 = \\
E\lbrace X^2 +2CX + C^2\rbrace - E(X)^2 - C^2 - 2CE(X)= \\
E(X^2) - E(X)^2 = D(X)
\]
- \(D(CX) = C^2D(X)\)
證:
\[D(CX) = E[(CX)^2] - [CE(X)]^2 = E(C^2X^2) - C^2E(X)^2 \\
C^2E(X^2) - C^2E(X)^2 = C^2[E(X^2) - E(X)^2] = C^2D(X)
\]
- \(D(X±Y)=D(X)+D(Y)\) 僅XY獨立時成立
\[D(X±Y) = E\lbrace X^2 + Y^2 ± 2XY \rbrace - [E(X±Y)]^2 \\
=E(X^2) +E(Y^2) ± 2E(XY) -\lbrace E(X)^2 + E(Y)^2 ±2E(X)E(Y)\rbrace = \\
E(X^2) - E(X)^2 + E(Y^2)-E(Y)^2 + 2[E(XY)-E(X)E(Y)]
\]
當\(XY\)獨立時，\(E(XY)=E(X)E(Y)\)
則:
\[D(X±Y) = D(X) + D(Y)
\]
協方差
協方差的定義為\(Cov(X,Y) = E[(X-EX)(Y-EY)]\)
適當化簡上式:
\[Cov(X,Y) = E\lbrace XY + EXEY -XEY-YEX\rbrace = E(XY)-EXEY
\]
可以發現其和\(D(X+Y)\)的關係式:
\[D(X+Y)= D(X)+D(Y) + 2[E(XY)- EXEY] = D(X)+D(Y)+2Cov(X,Y)
\]
協方差實際使用時，容易受到量綱的影響，比如分析身高相關的協方差時，使用m和cm作為單位，協方差數值上相差1萬倍
協方差實際上描述的是變數相關性，當XY獨立時，\(E(XY) = EXEY; Cov(X,Y) = 0\)，但不能透過協方差為0判定XY獨立，即獨立一定不相關，不相關不一定獨立
相關係數
定義相關係數為
\[\rho = \frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}, \quad \quad-1 \le\rho\le 1
\]
柯西施瓦茲不等式
\[[E(XY)]^2 \le [EX]^2[EY]^2
\]
證明:
設\(g(t) = E[(tX-Y)^2]\) 易知:\(g(t) \ge 0\)
\[E\lbrace t^2X^2 -2tXY + Y^2\rbrace \ge 0 \\
t^2E(X^2) +EY^2 - 2tE(XY) \ge0 \\
\rightarrow \Delta=4(EXY)^2 - 4EX^2EY^2 \le 0 \\
\rightarrow [E(XY)]^2 \le EX^2EY^2
\]
令\(X_1 = X-EX, Y_1 = Y-EY\)
\[\rho^2= \frac{[E(X_1Y_1)]^2}{EX_1^2EY_1^2} \quad\quad 由柯西施瓦茲不等式 \\
\rho^2 \le 1, 故 -1 \le \rho \le 1
\]
\(\rho\)描述的是隨機變數之間的線性關係， 純線性關係可以表示為:\(Y=aX+ b\); 當\(\rho = -1\)時，變數之間是負的線性關係，當\(\rho = 1\) 時，變數之間是線性關係，當\(\rho = 0\)時，表示兩者無線性關係（不是獨立）
言外之意，(-1,0)時有負相關，(0,1)時是正相關，越靠近0，相關性越弱
原點矩和中心矩
k階原點矩定義\(E(X^k)\)，因此期望也叫做一階原點矩
中心矩定義為\(E[(X-u)^k]\), 因此\(D(X)=E[(X-EX)^2]\)是以EX為中心的二階中心矩，上面的EX是以原點(0)為中心的一階矩
實際應用中，很少超過四階矩
後續的隨機過程中，還涉及到矩的應用