大數定律
大數定律的內涵是在大量的重複實驗中，可以以統計上的指標代替機率上的指標，相關定理等描述的都是這麼做的合理性
切比雪夫不等式
定義:
\[P\lbrace [|X-EX| \ge \epsilon] \rbrace \le \frac{DX}{\epsilon^2}
\]
證明:
\[P\lbrace [|X-EX| \ge \epsilon] \rbrace = \int_{|X-EX|\ge \epsilon} f(x)dx \quad 因為|X-EX| \ge \epsilon\\
故\quad(X-EX)^2 \ge \epsilon^2; \frac{(X-EX)^2}{\epsilon^2} \ge 1 \\
故 \int_{|X-EX|\ge \epsilon} f(x)dx \le \int_{|X-EX|\ge \epsilon} \frac{(X-EX)^2}{\epsilon^2} f(x)dx=\frac{1}{\epsilon^2}\int_{|X-EX|\ge \epsilon}(X-EX)^2f(x)dx \le \frac{1}{\epsilon^2}\int_{-\infty}^{\infty}(X-EX)^2f(x)dx = \\
\frac{DX}{\epsilon^2} \quad 即\\
P\lbrace [|X-EX| \ge \epsilon] \rbrace \le \frac{DX}{\epsilon^2}
\]
概念 依機率收斂
對於任意的\(\epsilon\), 存在N，使得\(n \ge N\)時，\(|x_n - a| \le \epsilon\)， 記作\(x_n{\xrightarrow{P}}a\), 數學表達為:
\[\forall \epsilon \gt 0, \lim_{n->\infty}P[|x_n - a| \le \epsilon] = 1
\]
伯努利大數定律
對於n重伯努利實驗, 有以下結論:
\[\forall \epsilon \gt 0\quad \lim_{n\rightarrow \infty}P[\frac{m}{n} - p \le \epsilon] = 1
\]
即當試驗次數趨於無窮時，事件頻率依機率收斂於事件機率
證明:
\[由 Em_n = np;Dm_n = npq \quad\quad得 E(\frac{m_n}{n}) = p ; D(\frac{m_n}{n})=\frac{(Dm_n)}{n^2} \\
所以, P[\frac{m_n}{n} - p \le \epsilon] \ge 1 - \frac{D(\frac{m_n}{n})}{\epsilon} = 1 - \frac{npq}{n^2 \epsilon } =1-\frac{pq}{n\epsilon} \\
當 n \rightarrow \infty時， 1-\frac{pq}{n\epsilon} = 1, 而 P[\frac{m_n}{n} - p \le \epsilon] \le 1 故：\\
\lim_{n\rightarrow \infty}P[\frac{m}{n} - p \le \epsilon] = 1
\]
切比雪夫大數定律
設變數\(x^0 ... x^n\) 互相獨立，且\(Ex_i, Dx_i\)均存在且有界，那麼:
\[\lim_{n \rightarrow \infty}P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i\rbrace = 1
\]
切比雪夫大數定律表明\(n \rightarrow \infty\)時，獨立隨機變數的平均值依機率收斂於期望的平均值，特別的，當這些變數滿足同分布時，就是平均值依機率收斂於期望
證明
設\(Y=\frac{1}{n}\sum x_i\)，則\(EY=\frac{1}{n}\sum Ex_i\) 方差\(DY=\frac{1}{n^2}\sum{Dx_i}\)
所以由切比雪夫不等式，
\[P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i \le \epsilon \rbrace \ge 1- \frac{DY}{\epsilon^2} = 1-\frac{\sum Dx_i}{n^2\epsilon} \ge1 - \frac{nM}{n^2\epsilon} \\
故\quad\quad \lim_{n \rightarrow \infty} P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i \le \epsilon \rbrace =1
\]
辛欽大數定律
設\(x_1 ...x_n\) 為獨立同分布，若\(x\)期望\(Ex=u\)存在，則
\[\lim_{n \rightarrow \infty}P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - u\rbrace = 1
\]
切比雪夫大數定律要求方差存在且有界但對隨機變數不要求同分佈。辛欽大數定律指明瞭在方差不存在但隨機變數同分布時，均值依機率收斂於期望