泊松過程的詳細理解

在學習隨機過程中，一個無法避免的就是泊松過程，而該過程也是實際中非常常見的一種隨機過程。那到底是什麼是泊松過程，本文將帶你詳細瞭解。
注：本文寫的較為詳細，故對於有相關基礎的人來說，本文可能顯得過於繁瑣。但針對基礎薄弱或是零基礎人，則這樣的詳細是必要的，故請大家根據自己的情況選擇性的看。
————————————————————————————————

1. 基礎知識

如果有一定的相關知識基礎，可以跳過此部分，如果不記得，可以仔細看一下。

（1）計數過程

隨機過程就是一個計數過程，而所謂的計數過程就是表示在一段時間內某個事件發生的次數，用數學語言描述就是 { N ( t ) , t ⩾ 0 } \left\{ {N(t),t \geqslant 0} \right\} {N(t),t⩾0}, $N(t)$表示在時間t內事件發生的次數，它需要滿足以下四個條件：
（i）$N(t)⩾0$；
（ii）$N(t)$是整數值；
（iii）若$s<t$,則$N(s)⩽N(t)$；
（iv）當$s<t$時，$N(s)-N(t)$等於在區間$\left(s,t\right]$事件發生的次數。
那麼我們研究這個計數過程，具體研究什麼呢？一是研究計數，即在這段時間內事件發生次數的概率；二是研究過程，如在這個過程中兩個事件的間隔時間是服從什麼分佈？第n次事件發生的具體時刻是哪裡？

（2）高階無窮小

若函式$f(x)$滿足以下條件：$$\underset{h\to 0}{\lim }\frac{f(h)}{h}=0$$則稱函式$f$是$o(h)$，它表示$f(h)$比$h$更快的趨向於0。高階無窮小具有以下運演算法則：
（i）無窮小加減無窮小還是等於無窮小，即$o(h)\pm o(h)=o(h)$，如果不同的次數的無窮小相加減，則結果就低不就高，即$o(h^m)\pm o(h^n)=o(h^n)$,$m⩾n$;
（ii）一個常數或是一個有界函式乘以高階無窮小，其結果還是高階無窮小；
（iii）除法：$o(h^m)/o(h^n)=0$, 當$m>n$時；
（iv）冪乘：$o^m\ast o(h^n)=o(h^{m+n})$；
後面兩條本博文用不到，只是順便複習一下。

（3）常用函式冪級數展開式

$e^x=\sum _{n=0}^{\infty }\frac{x^n}{n!},x\in (-\infty ,+\infty )$;
$\ln (1+x)=\sum _{n=0}^{\infty }\frac{{(-1)}^n{x}^{n+1}}{n+1},x\in (-1,1]$;
$\sin x=\sum _{n=0}^{\infty }\frac{{(-1)}^n{x}^{2n+1}}{(2n+1)!},x\in (-\infty ,+\infty )$;
$\cos x=\sum _{n=0}^{\infty }\frac{{(-1)}^n{x}^{2n}}{(2n)!},x\in (-\infty ,+\infty )$;
$\frac{1}{1+x}=\sum _{n=0}^{\infty }{(-1)}^n{x}^n,x\in (-1,1)$;
$\frac{1}{1-x}=\sum _{n=0}^{\infty }{x}^n,x\in (-1,1)$;
本博文只用到第一個，其餘的是順便複習。

（4）一階微分方程的求解

關於微分方程的求解，內容就太多了，此處只簡單介紹一下一階齊次線性微分方程和一階非齊次線性微分方程的通解形式，更深次的內容請大家查閱相關書籍。
我們定義有如下形式的方程為一階線性微分方程：$$\frac{dy}{dx}+P(x)y=Q(x)$$
其中，$P(x)$和$Q(x)$是$x$的連續函式，如果$Q(x)=0$，則稱為一階齊次，否則稱為非齊次。
一階齊次線性微分方程為：
$$\frac{dy}{dx}+P(x)y=0$$
其通解為：$$y=C{e}^{-\int P(x)dx}$$
一階非齊次線性微分方程為：$$\frac{dy}{dx}+P(x)y=Q(x)$$
其通解為：$$y=C{e}^{-\int P(x)dx}+e^{-\int P(x)dx}\int Q(x)e^{\int P(x)dx}dx$$
其中$C$由初始條件決定。

2. 泊松過程的定義

定義一：一個計數過程 { N ( t ) , t ⩾ 0 } \left\{ {N(t),t \geqslant 0} \right\} {N(t),t⩾0}是泊松過程，則其具有引數 $\lambda$，$\lambda >0$,且滿足以下條件：
（i）$N(0)=0$；
（ii）過程具有獨立增量，即在不相交的時間區間內，事件發生的個數是相互獨立的；
（iii）在任一長度為$t$的時間區間內，事件發生的個數服從均值為$\lambda t$的泊松分佈，即對任意$s$,$t⩾0$，有
P { N ( t + s ) − N ( s ) = n } = e − λ t ( λ t ) n n ! , n = 0 , 1 , … P\{ N(t + s) - N(s) = n\} = {e^{ - \lambda t}}\frac{{{{(\lambda t)}^n}}}{{n!}},n = 0,1, \ldots P{N(t+s)−N(s)=n}=e−λtn!(λt)n​,n=0,1,…也正是因為第（iii）點，我們才稱此過程為泊松過程，且第（iii）點也說明泊松過程具有平穩增量，即某個時間段內事件發生次數的分佈只依賴於該時間段的長度。我們可以從這個角度去理解平穩增量：首先看增量，因為泊松過程是一個計數過程，而計數肯定隨時間增長而增長的（至少是不減的），故增量就體現在事件發生次數的增長上面。其次看平穩，由於在任意時間段內事件發生次數的均值為$\lambda t$，這就是這個時間段內的增量，該增量增長過程是一條直線，斜率為$\lambda$，是固定的，是平穩的。這個增長我們假設$t$為單位時間，則在單位時間內事件發生次數的均值為$\lambda$，這也是我們稱$\lambda$為泊松過程速率或強度的原因。
然而，在實際中，我們很難根據以上定義去判斷一個計數過程是泊松過程，主要原因在於第三點我們很難去判斷。為此，構建一個泊松過程的等價定義顯得尤為必要。
定義二：一個計數過程 { N ( t ) , t ⩾ 0 } \left\{ {N(t),t \geqslant 0} \right\} {N(t),t⩾0}是泊松過程，則其具有引數 $\lambda$，$\lambda >0$,且滿足以下條件：
（i）$N(0)=0$；
（ii）過程具有平穩和獨立增量，平穩增量是指在某個時間段內事件發生次數的分佈只依賴於該時間段的長度，獨立增量指在不相交的時間區間內，事件發生的個數是相互獨立的；
（iii）在很小的時間$h\to 0$內，發生一次事件的概率為： P { N ( h ) = 1 } = λ h + o ( h ) P\{ N(h) = 1\} = \lambda h + o(h) P{N(h)=1}=λh+o(h);
（iv)在很小的時間$h\to 0$內，發生兩次及以上次事件的概率為： P { N ( h ) ⩾ 2 } = o ( h ) P\{ N(h) \geqslant 2\} = o(h) P{N(h)⩾2}=o(h);
定義一和定義二是等價的。在實際中，我們更多的是用定義二去描述一個泊松過程，一方面是因為便於判斷一個隨機過程是否為泊松過程，另一方面是因為便於我們對泊松過程進行一些數學分析。下面對兩個定義的等價性進行證明。
證明：（1）先證明定義二包含定義一。定義二的前兩個條件很明顯對應於定義一的前兩個條件，所以只要證明定義二的第3和第4個條件對應於定義一的第3個條件即可。
令到時間$t$時事件總共發生了$n$次的概率為：
P { N ( t ) = n } = P n ( t ) P\{ N(t) = n\} = {P_n}(t) P{N(t)=n}=Pn​(t)
我們先推導$P_0(t)$。在$t+h$時間內，事件發生的次數為0的概率為： P 0 ( t + h ) = P { N ( t + h ) = 0 } = P { N ( t ) = 0 , N ( t + h ) − N ( t ) = 0 } = P { N ( t ) = 0 } P { N ( t + h ) − N ( t ) = 0 } = P 0 ( t ) ( 1 − P { N ( h ) = 1 } − P { N ( h ) ≥ 2 } ) = P 0 ( t ) ( 1 − ( λ h + o ( h ) ) − o ( h ) ) = P 0 ( t ) ( 1 − λ h + o ( h ) ) \begin{array}{l} {P_0}(t + h) = P\{ N(t + h) = 0\} \\ = P\{ N(t) = 0,N(t + h) - N(t) = 0\} \\ = P\{ N(t) = 0\} P\{ N(t + h) - N(t) = 0\} \\ = {P_0}(t)\left( {1 - P\{ N(h) = 1\} - P\{ N(h) \ge 2\} } \right)\\ = {P_0}(t)\left( {1 - (\lambda h + o(h)) - o(h)} \right)\\ = {P_0}(t)\left( {1 - \lambda h + o(h)} \right) \end{array} P0​(t+h)=P{N(t+h)=0}=P{N(t)=0,N(t+h)−N(t)=0}=P{N(t)=0}P{N(t+h)−N(t)=0}=P0​(t)(1−P{N(h)=1}−P{N(h)≥2})=P0​(t)(1−(λh+o(h))−o(h))=P0​(t)(1−λh+o(h))​
其中，第二個等式是因為定義二中的第二個條件：獨立平穩增量；第四個等式是因為定義二中的第三、四個條件；最後一個等式是因為高階無窮小的相關運演算法則。
根據得到的$P_0(t+h)$的式子，可以推導其微分方程為：
$$\frac{P_0(t+h)-P_0(t)}{h}=-\lambda P_0(t)+\frac{o(h)}{h}（1）$$ 令$h\to 0$有：
$${P_0}^{\prime }(t)+\lambda P_0(t)=0（2）$$
根據基礎知識中微分方程的通解可以上述微分方程的通解為：$P_0(t)=C{e}^{-\lambda t}$，再由初始條件 P 0 ( 0 ) = P { N ( t ) = 0 } = 1 {P_0}(0) = P\{ N(t) = 0\} = 1 P0​(0)=P{N(t)=0}=1可得：
$$P_0(t)=e^{-\lambda t}（3）$$
類似地，當$n\ge 1$時，有：
P n ( t + h ) = P { N ( t + h ) = n } = P { N ( t ) = n , N ( t + h ) − N ( t ) = 0 } + P { N ( t ) = n − 1 , N ( t + h ) − N ( t ) = 1 } + P { N ( t ) ≤ n − 2 , N ( t + h ) − N ( t ) ≥ 2 } = P n ( t ) P 0 ( h ) + P n − 1 ( t ) P 1 ( h ) + o ( h ) = ( 1 − λ h ) P n ( t ) + λ h P n − 1 ( t ) + o ( h ) \begin{array}{l} {P_n}(t + h) = P\{ N(t + h) = n\} \\ = P\{ N(t) = n,N(t + h) - N(t) = 0\} + P\{ N(t) = n - 1,N(t + h) - N(t) = 1\} + P\{ N(t) \le n - 2,N(t + h) - N(t) \ge 2\} \\ = {P_n}(t){P_0}(h) + {P_{n - 1}}(t){P_1}(h) + o(h)\\ = (1 - \lambda h){P_n}(t) + \lambda h{P_{n - 1}}(t) + o(h) \end{array} Pn​(t+h)=P{N(t+h)=n}=P{N(t)=n,N(t+h)−N(t)=0}+P{N(t)=n−1,N(t+h)−N(t)=1}+P{N(t)≤n−2,N(t+h)−N(t)≥2}=Pn​(t)P0​(h)+Pn−1​(t)P1​(h)+o(h)=(1−λh)Pn​(t)+λhPn−1​(t)+o(h)​
第三個等式成立是因為 o ( h ) P { N ( t ) ≤ n − 2 } = o ( h ) o(h)P\{ N(t) \le n - 2\}=o(h) o(h)P{N(t)≤n−2}=o(h)，最後一個等式成立是因為定義二中的第三、四個條件。
同樣地，利用導數定義構建關於$P_n(t)$的微分方程為：$$\frac{P_n(t+h)-P_n(t)}{h}=-\lambda P_n(t)+\lambda P_{n-1}(t)+\frac{o(h)}{h}$$令$h\to 0$有：
$$P_n^{\prime }(t)+\lambda P_n(t)=\lambda P_{n-1}(t)（4）$$
我們在（4）式兩邊分別乘以$e^{\lambda t}$得：
$$e^{\lambda t}[P_n^{\prime }(t)+\lambda P_n(t)]=e^{\lambda t}\lambda P_{n-1}(t)（5）$$
該式左邊即等於$\frac{d}{dt}(e^{\lambda t}{P}_n(t))$，即有：$$\frac{d}{dt}(e^{\lambda t}{P}_n(t))=\lambda e^{\lambda t}{P}_{n-1}(t)（6）$$當$n=1$時，有：
$$\frac{d}{dt}(e^{\lambda t}{P}_1(t))=\lambda e^{\lambda t}{P}_0(t)（7）$$將$P_0(t)=e^{-\lambda t}$代入可得：
$$\frac{d}{dt}(e^{\lambda t}{P}_1(t))=\lambda （8）$$整理得：$$P_1(t)=(\lambda t+c)e^{-\lambda t}（9）$$又因為$P_1(0)=0$，故可得：$$P_1(t)=\lambda t{e}^{-\lambda t}$$
接下來用數學歸納法證明$P_n(t)=\frac{e^{-\lambda t}(\lambda t{)}^n}{n!}$。
假設$n-1$時$P_{n-1}(t)=\frac{e^{-\lambda t}(\lambda t{)}^{n-1}}{(n-1)!}$成立，將其代入（6）式有：$$\frac{d}{dt}(e^{\lambda t}{P}_n(t))=\frac{\lambda (\lambda t{)}^{n-1}}{(n-1)!}$$利用一階齊次微分方程的通解可得：$$e^{\lambda t}{P}_n(t)=\frac{(\lambda t{)}^n}{(n)!}+c$$根據初始條件 P n ( 0 ) = P { N ( 0 ) = n } = 0 {P_n}(0)=P\{N(0)=n\}=0 Pn​(0)=P{N(0)=n}=0可得：$$P_n(t)=\frac{e^{-\lambda t}(\lambda t{)}^n}{n!}$$
（2）接下來證明定義一包含定義二。根據兩個定義的描述，我們只需要證明定義一種的第三條包含定義二的第（iii）和第（iv）點且說明過程增量是平穩的即可。
定義一的第（iii）點說明在任意長度為$t$的時間內，事件發生的個數服從均值為$\lambda t$的泊松分佈。這就說明這個過程中事件發生次數的增量是平穩的。

3. 兩個事件之間的間隔時間分佈

我們記$X_1$為第一個事件發生時刻與初始時刻的時間間隔，$X_n$為第$n-1$與第$n$個事件之間的時間間隔（$n⩾1$），現在分析$X_i$服從什麼分佈。
首先分析$X_1$。根據$X_1$定義易知$X_1>t$表示$[0,t]$時間內，沒有事件發生，即 P { X 1 > t } = P { N ( t ) = 0 } P\{ {X_1} > t\} = P\{ N(t) = 0\} P{X1​>t}=P{N(t)=0}在泊松分佈的兩個等價定義的證明中，我們已經求得 P { N ( t ) = 0 } = e − λ t P\{ N(t) = 0\} = {e^{ - \lambda t}} P{N(t)=0}=e−λt，這說明$X_1$服從引數為$\lambda$的指數分佈，此處回憶一下指數分佈的分佈函式為 F ( a ) = P { X ⩽ a } = 1 − e − λ a F(a) = P\{ X \leqslant a\} = 1 - {e^{ - \lambda a}} F(a)=P{X⩽a}=1−e−λa。
現在我們來看在已知$X_1$的情況下去分析$X_2$的分佈：
P { X 2 > t ∣ X 1 = s } = P { 在 ( s , s + t ] 時 間 內 沒 有 事 件 發 生 ∣ X 1 = s } = P { 在 ( s , s + t ] 時 間 內 沒 有 事 件 發 生 } = e − λ t P\{ {X_2} > t|{X_1} = s\} = P\{ 在(s,s+t]時間內沒有事件發生|{X_1} = s\} =P\{ 在(s,s+t]時間內沒有事件發生\}= {e^{ - \lambda t}} P{X2​>t∣X1​=s}=P{在(s,s+t]時間內沒有事件發生∣X1​=s}=P{在(s,s+t]時間內沒有事件發生}=e−λt
第二個等式成立是因為泊松過程具有獨立增量，即在不相交的時間區間內，事件發生的個數是相互獨立的；第三個等式成立是因為泊松過程具有平穩增量，即某個時間段內事件發生次數的分佈只依賴於該時間段的長度，故在$(s,s+t]$時間段內事件發生0次的概率等於在$(0,t]$時間段內事件發生0次的概率。由此可見$X_2$也服從引數為$\lambda$的指數分佈，且$X_1$與$X_2$相互獨立。一直類推下去，可知兩個事件之間的間隔時間分佈總是服從引數為$\lambda$的指數分佈。
舉個栗子：假設一個包子店從早上6:00開始開門，然後陸續有顧客進來買包子，第一個顧客到達的時間為6:05，那麼$X_1=5分鍾$，第二個顧客到達時間為6:08，那麼$X_2=3分鍾$，以此類推……我們說顧客到達的過程是一個引數為$\lambda$泊松過程，那麼第一個顧客到達的時間是服從引數為$\lambda$的指數分佈，假設第一個顧客在6:05到達包子店，那麼從6:05開始，直到第二個顧客來到店裡，這段時間（也就是說店主從6:05開始等第二個顧客到達時需要等待的時間）同樣服從引數為$\lambda$的指數分佈。同樣地，店主等待第三、四……個顧客的時間都是服從引數為$\lambda$的指數分佈。

4.第n個時間到來時等待的時間

同樣以上述包子店為例，包子店從早上6:00開始開門，第1個顧客到達的時間為6:05，第10個顧客到達的時間為6:12，那麼$S_1=5分鍾$，$S_{10}=12分鍾$，我們記$S_n$為第n個事件到來（或發生）時，已經等待的時間。由上述的$X_n$的定義可以明顯得出：$$S_n=\sum _{i=1}^n{X}_i$$
假設第$n$個事件發生在$t$時刻，或是在$t$時刻之前發生，那麼有$N(t)\ge n$或是$S_n\le t$（此時這兩個不等式是等價的），故$$P(S_n\le t)=P(N(t)\ge n)=\sum _{i=n}^{\infty }{e}^{-\lambda t}\frac{{(\lambda t)}^i}{i!}$$因為$S_n$是一個連續時間變數，所以我們在上式中對$t$求導即可得到關於$S_n$的概率密度函式（此處回顧：對概率密度求積分得概率，相反，對概率求導則得到概率密度）且記這個概率密度函式為$f(t)$,則：
$$\begin{array}{l}f(t)=\sum _{i=n}^{\infty }(-\lambda )e^{-\lambda t}\frac{{(\lambda t)}^i}{i!}+\sum _{i=n}^{\infty }{e}^{-\lambda t}(i\lambda )\frac{{(\lambda t)}^{i-1}}{i!}\\ =-\sum _{i=n}^{\infty }\lambda e^{-\lambda t}\frac{{(\lambda t)}^i}{i!}+\sum _{i=n}^{\infty }\lambda e^{-\lambda t}\frac{{(\lambda t)}^{i-1}}{(i-1)!}\\ =\lambda e^{-\lambda t}\frac{{(\lambda t)}^{n-1}}{(n-1)!}\end{array}$$
這個概率密度函式是伽瑪分佈（$\Gamma$分佈）的概率密度函式，引數為$n$和$\lambda$。具體的伽瑪分佈請查閱相關資料，此處不做詳細介紹。
總結：第$n$個事件到來時已等待的實踐服從引數為$n$和$\lambda$的$\Gamma$分佈。

5.到達時刻的條件分佈

還是以上述包子店為例，包子店從6：00開始開門，假設顧客到達時間為一個泊松過程。我們知道從6:00到6:05這5分鐘時間內，有一個顧客來到過，現在的問題是在這個5分鐘內，顧客到達的具體時間服從什麼分佈？轉化為數學就是：已知泊松過程中，在時間[0,t]內發生了一個事件，在一個事件發生的條件下，問這個事件發生的具體時刻的分佈？
在前面我們介紹泊松過程的定義的時候，提出泊松過程必須滿足平穩獨立增量這一特徵，因此我們有理由猜測上述條件分佈是一個均勻分佈。根據條件概率我們有：
P { X 1 < s ∣ N ( t ) = 1 } = P { X 1 < s , N ( t ) = 1 } P { N ( t ) = 1 } = P { N ( s ) = 1 , N ( t − s ) = 0 } P { N ( t ) = 1 } = P { N ( s ) = 1 } P { N ( t − s ) = 0 } P { N ( t ) = 1 } = λ s e − λ s e − λ ( t − s ) λ t e − λ t = s t \begin{array}{l} P\{ {X_1} < s\left| {N(t) = 1} \right.\} \\ = \frac{{P\{ {X_1} < s,N(t) = 1\} }}{{P\{ N(t) = 1\} }}\\ = \frac{{P\{ N(s) = 1,N(t - s) = 0\} }}{{P\{ N(t) = 1\} }}\\ = \frac{{P\{ N(s) = 1\} P\{ N(t - s) = 0\} }}{{P\{ N(t) = 1\} }}\\ = \frac{{\lambda s{e^{ - \lambda s}}{e^{ - \lambda (t - s)}}}}{{\lambda t{e^{ - \lambda t}}}}\\ = \frac{s}{t} \end{array} P{X1​<s∣N(t)=1}=P{N(t)=1}P{X1​<s,N(t)=1}​=P{N(t)=1}P{N(s)=1,N(t−s)=0}​=P{N(t)=1}P{N(s)=1}P{N(t−s)=0}​=λte−λtλse−λse−λ(t−s)​=ts​​
即我們的猜測是正確的，即在任意某一段時間內，只發生一次事件，那麼該事件在該時間段內發生的具體時刻服從均勻分佈。
—————————————————————————
總結： 泊松過程是最常見的隨機過程，也是經管領域中用到較多的一個隨機過程。比較重要的知識點是定義二中的最後兩個概率等式、兩次事件間隔時間服從指數分佈、在時間t內事件發生的次數服從引數為$\lambda t$的泊松分佈。這三點有必要熟記於心。