參考教材：陸大jin《隨機過程及其應用》

1. 隨機過程

1.1 基本概念

隨機過程是這樣一個過程，它不能用一個時間t的確定性函式表示，它在每個時刻的狀態是隨機的。

1. 例子1：

• $y=sin(wt+\phi )$,其中$\phi =\pi /2$。顯然這是一個確定性過程，這個過程可以用時間t的確定性函式表示。
• $y=sin(wt+\phi )$,其中$\phi$服從$[-\pi ,\pi ]$的均勻分佈。顯然這是一個隨機過程，這個過程不可以用時間t的確定性函式表示，每個時刻$t_i$，$y$的取值是隨機的，$y$它又是隨時間變化的。這個函式可以有一個現實的意義，比如生產的一批振盪器，他們的初始相位顯然是隨機的，但是選中一臺振盪器後，它的相位就是固定的，也就是說，這個隨機過程，如果隨著時間t去逐步測量，它得到的總是一條正弦曲線。

2. 例子2：
   某個餐廳，一個時刻到達的人數是隨機的，也就是隨機變數。如果研究一個上午各個時間的總人數，那麼這就是一個隨機過程。

1.2 描述隨機過程的方法

1. 方法一：固定時間$t$，則隨機過程$\xi (t)$在此時刻是隨機變數，即：$\xi (t_i)$是隨機變數，$t_i$是具體的時刻。
   既然是隨機變數，那麼每個時刻都可以用分佈函式來描述。
   一維分佈函式：$F_{t_1}(x_1)=P(\xi (t_1)<x_1)$,這個只能描述某一時刻，隨機過程$\xi (t)$的分佈。
   n維分佈函式：$F_{t_1,t_2,...,t_n}(x_1,x_2,...,x_n)=P(\xi (t_1)<x_1,\xi (t_2)<x_2,...,\xi (t_n)<x_n)$,這個能描述隨機過程$\xi (t)$，在不同時刻的相互關係，因此這也被稱為一族有限維分佈函式。可以看到這一族有限維分佈函式不僅描述了某一時刻$\xi (t)$的統計規律，還描述了不同時刻$\xi (t_i)$,$\xi (t_j)$之間的相互關係。

注：

• $\xi (t)$與$\xi (w,t)$的含義相同
• $\xi (t)$在$t=t_k$的具體取值稱為，隨機過程$\xi (t)$在$t=t_k$的狀態，記為$x(t_k)$

2. 方法二：不固定時間，一次特定的實驗，隨著時間去逐步測量整個過程，因此這將得到一個確定的樣本函式，記為${\xi }^{(k)}(t)$，有時為了避免混淆，也用$x_k(t)$表示。在例子1中的隨機過程，每個$x_k(t)$都是正弦函式。

2. 隨機過程的分類和舉例

根據時間的連續與否，每個時刻隨機變數取值的連續與否，可以分為4種型別。

1. 離散引數離散型隨機過程。引數集（也就是時間）是離散的，固定時間$t_k$，隨機變數$\xi (t_k)$也是離散的。
   比如伯努利過程：一個質點每過一秒就會等概率地在數軸上向左移動或者向右移動。

2. 連續引數離散型隨機過程。引數集（也就是時間）是連續的，固定時間$t_k$，隨機變數$\xi (t_k)$是離散的。
   比如脈衝數字通訊系統，傳送的訊號是脈寬為$T_0$的脈衝訊號，但是脈衝的幅度是隨機變數。

3. 連續引數連續型隨機過程。引數集（也就是時間）是連續的，固定時間$t_k$，隨機變數$\xi (t_k)$也是連續的。
   比如正弦波過程（例子1）和電晶體噪聲。

4. 離散引數連續型隨機過程。引數集（也就是時間）是離散的，固定時間$t_k$，隨機變數$\xi (t_k)$也是連續的。
   比如每隔單位時間就對電晶體噪聲進行抽樣。

3. 隨機過程的數字特徵

從以上的分析來看，隨機過程的概率密度或分佈函式族可以完善地描述隨機過程的統計特徵，但是要確定這兩個東西，並加以分析，往往比較困難。為了便於分析，需要引入隨機過程的數字特徵。

3.1 均值（數學期望）

對於一隨機過程$\xi (t)$，其某一時刻$t_1$的取值$\xi (t_1)$是隨機變數（這一點要時刻記住，不然下面的公式就會理解不了），對於這個隨機變數，可以用概率論中的均值來描述，即：
$${\mu }_{\xi }(t_1)=E(\xi (t_1))$$
對於連續型隨機過程，假設其分佈函式為$F_{{\xi }_{t_1}}(x)=P(\xi (t_1)\le x)$，概率密度為$f_{{\xi }_{t_1}}(x)$，那麼均值：
$${\mu }_{\xi }(t_1)=E(\xi (t_1))={\int }_{-\infty }^{+\infty }x{f}_{{\xi }_{t_1}}(x)dx$$
對於離散型隨機過程，假設其分佈函式為$F_{{\xi }_{t_1}}(x)=P(\xi (t_1)\le x)$，那麼均值：
$$\begin{gathered} {\mu }_{\xi }(t_1)=E(\xi (t_1)) \\ =x_1\ast P(\xi (t_1)=x_1)+x_2\ast P(\xi (t_1)=x_2)+...+x_n\ast P(\xi (t_1)=x_n) \end{gathered}$$

技巧：
有時候並不需要真的去求概率密度為$f_{{\xi }_{t_1}}(x)$才能算均值。
比如：$y=sin(wt+\phi )$,其中$\phi$服從$[-\pi ,\pi ]$的均勻分佈，求${\mu }_{\xi }(t_1)$。這個問題就變成了概率論中經典的已知X的分佈，且Y=g(X),求E(Y)。所以：
$${\mu }_{\xi }(t_1)={\int }_{-\infty }^{+\infty }x{f}_{{\xi }_{t_1}}(x)dx={\int }_{-\pi }^{\pi }sin(w{t}_1+\phi )\frac{1}{2\pi }d\phi$$
按照上式計算就會簡單很多。

3.2 方差（二階中心矩）

這個方差的定義與概率論中隨機變數的方差定義完全一致。
$$\begin{gathered} {\sigma }_{\xi }^2(t_1)=D(\xi (t_1))=E([\xi (t_1)-{\mu }_{\xi }(t_1){]}^2) \\ =E([\xi (t_1)-E(\xi (t_1)){]}^2) \end{gathered}$$

3.3 自相關函式（簡稱：相關函式）

自相關函式是為了描述兩個不同的時刻$t_1,t_2$的隨機變數$\xi (t_1),\xi (t_2)$之間的關係，記為$R_{\xi \xi }(t_1,t_2)$，這是一個二階混合原點矩。注意這兩個隨機變數並不獨立
$$\begin{gathered} R_{\xi \xi }(t_1,t_2)=E(\xi (t_1)\xi (t_2)) \\ =\sum _i\sum _j{x}_i{x}_{j}P(\xi (t_1)=x_i,\xi (t_2)=x_j) \\ ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{x}_1{x}_2{f}_{{\xi }_{t_1}{\xi }_{t_2}}(x_1,x_2)d{x}_{1}d{x}_2 \end{gathered}$$
$f_{{\xi }_{t_1}{\xi }_{t_2}}(x_1,x_2)$是隨機變數$\xi (t_1),\xi (t_2)$的聯合概率密度。

3.4 自協方差函式（簡稱：協方差函式）

類似地，可以寫出兩個變數的二階混合中心矩，記為$C_{\xi \xi }(t_1,t_2)$
$$\begin{gathered} C_{\xi \xi }(t_1,t_2)=E([\xi (t_1)-{\mu }_{\xi }(t_1)][\xi (t_2)-{\mu }_{\xi }(t_2)]) \\ =\sum _i\sum _j(x_i-{\mu }_{\xi }(t_1))(x_j-{\mu }_{\xi }(t_2))P(\xi (t_1)=x_i,\xi (t_2)=x_j) \\ ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x_1-{\mu }_{\xi }(t_1))(x_2-{\mu }_{\xi }(t_2))f_{{\xi }_{t_1}{\xi }_{t_2}}(x_1,x_2)d{x}_{1}d{x}_2 \end{gathered}$$
$f_{{\xi }_{t_1}{\xi }_{t_2}}(x_1,x_2)$是隨機變數$\xi (t_1),\xi (t_2)$的聯合概率密度。
上式只是定義式，通過化簡可以得到：
$$C_{\xi \xi }(t_1,t_2)=R_{\xi \xi }(t_1,t_2)-{\mu }_{\xi }(t_1){\mu }_{\xi }(t_2)$$
當$t_1=t_2$時：
$${\sigma }_{\xi }^2(t_1)=C_{\xi \xi }(t_1,t_1)=R_{\xi \xi }(t_1,t_1)-{\mu }_{\xi }(t_1){\mu }_{\xi }(t_1)$$
這就類似於$D(X)=E(X^2)-(E(X){)}^2$

4. 兩個或兩個以上隨機過程的聯合分佈和數字特徵

注意，這一節考慮的是兩個不同的隨機過程（注意和一個隨機過程的兩次不同的實現是有區別的）