1. 隨機變數的概念
顧名思義，隨機變數就是“其值隨機會而定”的變數。隨機變數的反面是“確定性變數”，即其值遵循某種嚴格的規律的變數，比如從北京到上海的距離。但是從絕對意義上講，許多通常視為確定性變數的量，本質上都有隨機性，只是由於隨機性干擾不大，以至在所要求的精度之內，不妨把經作為確定性變數來處理。
根據隨機變數其可能取的值的全體的性質，可以把隨機變數分為2大類，一類是離散型隨機變數，比如檢驗100件產品中的次品個數；一類是連續型隨機變數，比如一個燈泡的壽命。但是連續型變數這個概念只是數學上的抽象，因為任何量都有單位，都只能在該單位下量到一定的精度，所以也一定是離散的，比如燈泡的壽命如果只精確到秒，那它的壽命也是可以離散表示的。
研究隨機變數的根本原因是，我們需要研究一些事物身上表現出來的會變動的因子，這些因子的值隨機而定，但可能存在某種規律（比如總是取到某些特殊的值），我們需要研究這些規律（比如分佈規律），而對這些因子做預測。
2. 離散型隨機變數的分佈
我們研究隨機變數，並不是只關心它能取到哪些值，往往也關心的是它取到某些值的頻率如何，即取到該值的概率。這個特性，我們稱之為分佈。
定義2.1
設$X$為離散型隨機變數，其全部的可能值為$\{a_1,a_2,\dots\}$，則
$$p_i=P(X=a_i), i=1,2,\dots$$
稱為$X$的概率函式。且有下面的性質：
$$p_i\geqslant 0,p_1+p_2+\dots=1$$
$X$的概率函式給出了：全部概率1是如何在其可能的值之間分配的，所以也把它稱為隨機變數$X$的“概率分佈”。 因為離散型的隨機變數的概率分佈通常以一個表的形式給出，所以有時把它稱為$X$的分佈表。
$$
\begin{array}{c|ccccc} \text{可能值}&a_1&a_2&\dots&a_i&\dots \\
\hline
\text{概率}&p_1&p_2&\dots&p_i&\dots
\end{array}
$$
定義2.2
設$X$為一隨機變數，則函式
$$P(X\le x)=F(x),-\infty<x<\infty$$
稱為$X$的分佈函式。
對離散型隨機變數而言，概率函式與分佈函式在下述意義下是等價的。
$$F(x)=P(X\le x)=\sum_{\{i:a_i\le x\}}p_i$$
由$p_i$求$F(x)$是顯然的，而由$F(x)$求$p_i$，只需注意：
$$F(i)=P(X\le i)=P(X\le i-1)+P(X=i)$$
對於任何隨機變數$X$，其分佈函式$F(x)$具有下面的一般性質：
1）$F(x)$是單降非降的：當$(x_1<x_2)$時，有$F(x_1)\le F(x_2)$；
2）當$x\to\infty$時，$F(x)\to 1$；當$x\to –\infty$時，$F(x)\to 0$；
研究分佈函式的直接原因是可以根據分佈函式求概率，另一個原因我覺得是針對於連續型隨機變數，因為它研究取某個值的概率沒有意義，所以更多的關心的一個範圍，比哪燈光壽命1萬小時-1.2萬小時的可能性大小，像這樣範圍內的概率用分佈函式更容易求得。
3. 幾個常見的離散型分佈
3.1. 二項分佈
某事件$A$在一次試驗中發生的概率為$p$。現在把這個試驗獨立重複$n$次，以$X$記$A$在這$n$次試驗中發生的次數，則$n$可能的取值為$0,1,\dots,n$，我們稱隨機變數$X$服從二項分佈，記為：$X\sim B(n,p)$，同時這種試驗稱為伯努利試驗。
$$p_i=b(i;n,p)=\dbinom{n}{i}p^i(1-p)^{n-i},i=0,1,\dots,n$$
$X=k$表示$n$次試驗中，事件$A$恰好發生了$k$次，那麼一共有$\dbinom{n}{k}$種途徑，而且每種途徑發生的概率都為$p^k(1-p)^{n-k}$（加法公式）。
在研究連續型隨機變數分佈後，我們發現二項分佈概率分佈與高斯分佈密度函式曲線一致。
3.2. 泊松分佈
若隨機變數$X$可能的取值為$0,1,2,\dots$，且概率分佈為
$$P(X=i)=e^{-\lambda}\lambda^i/i!$$
則稱$X$服從泊松分佈，記為$X\sim P(\lambda)$，此處$\lambda>0$是一常數。
Poisson分佈是用來描述稀有事件的概率的，比如：一定時間內紅綠燈口發生事故的次數和總機接到電話的次數。
Poisson分佈實際上是在$n$很大，$p$很小時，二項分佈的一個近似：
當$p$很小時，$(1-p)\sim e^{-p}$[泰勒展開，取前2項]，所以$(1-p)^{n-k}\sim e^{-p(n-k)}\sim e^{-pn}=e^{-\lambda}$
當$n$很大時，$b_{n,k}=\frac{n(n-1)\dots(n-k+1)}{k!}p^k(1-p)^{n-k}\approx\frac{n^kp^k}{k!}(1-p)^{n-k}=\frac{\lambda ^k}{k!}e^{-\lambda}$
3.3. 超幾何分佈
設有N個產品，其中有M個不合格品，若從中不放回地隨機抽取$n$個，則其中含有的不合格品的個數$X$服從超幾何分佈，記為$X\sim h(n,N,M)$，超幾何分佈的概率分佈列為：
$$P(X=k)=\frac{\dbinom{M}{k}\dbinom{N-M}{n-k}}{\dbinom{N}{n}},k=0,1,\dots,r$$
其中$r=min\{M,n\}$，且$M\le N,n\le N,n,N,M均為正整數$
當$n\gg N$時，即抽取個數$n$遠小於產品總數N時，每次抽取後體中的不合格率$p=M/N$改變甚微，所以不放回抽樣，可以近似地看成回抽樣，這裡超幾何分佈可以用二項分佈近似。
$$\frac{\dbinom{M}{k}\dbinom{N-M}{n-k}}{\dbinom{N}{n}}\cong\dbinom{n}{k}p^k(1-p)^{n-k}，其中p=\frac{M}{N}$$
3.4. 幾何分佈
在伯努利試驗序列中，記每次試驗中事件$A$發生的概率為$p$，如果$X$為事件$A$首次出現時的試驗次數，則$X$可能取值為$1,2,\dots$，稱$X$服從幾何分佈，記為$X\sim Ge(p)$，其分佈列為：
$$P(X=k)=(1-p)^{k-1}p,k=1,2,\dots$$
幾何分佈的無記憶性：設$X\sim Ge(p)$，則對任意正整數m與n有
$$P(X>m+n|X>m)=P(X>n)$$
上面這個公式表明在一系列的事件中，若前m次實驗中事件A沒有出現，則接下來的n次試驗中A仍未出現的概率只與n有關，似乎忘記了前m次試驗結果。
3.5. 負二項分佈
在伯努利試驗序列中，記每次試驗中事件A發生的概率為$p$，如果$X$為事件$A$第r次出現時的試驗次數，則$X$可能的取值為$r,r+1,\dots,r+m,\dots$，稱$X$服從負二項分佈或巴斯卡分佈，記為$X\sim Nb(r,p)$，概率分佈為：
$$P(X=k)=\dbinom{k-1}{r-1}p^r(1-p)^{k-r},k=r,r+1,\dots$$
4. 連續型隨機變數分佈
對於連續型變數的概率分佈，不能用像離散型變數那種方法去描述。原因在於，這種變數的取值充滿一個區間，無法一一排出。若指定一個值$a$，則變數$X$恰好是$a$一絲不差，事實上不可能，即，對於連續型隨機變數$X$而言，在區間內任意一點的概率$P(X=x_i)=0$，但是你要注意雖然概率為0，但是並不是說事件$X=x_i$是不可能事件。
刻畫連續型隨機變數的概率分佈的一個方法是利用概率分佈函式，但是在理論和實用上更方便因則更常用的方法，是使用所謂“概率密度函式”或簡稱密度函式。
定義4.1
設連續性隨機變數X有概率分佈函式$F(x)$，則$F(x)$的層數$f(x)=F’(x)$,稱為X的概率密度函式。
連續型隨機變數$X$的密度函式$f(x)$都具有以下三條基本性質：
1）$f(x)\ge0$
2）$\int_{-\infty}^{\infty}f(x)dx=1$
3）對任何常數$a<b$有$P(a\le X\le b)=F(b)-F(a)=\int_{a}^{b}(x)dx$
4.1. 正態分佈
由中心極限定理可知：
一個變數如果是由大量微小的、獨立的隨機因素的疊加結果，那麼這個變數一定是正態變數。因此很多隨機變數可以用正態分佈描述或近似描述，譬如測量誤差、產品重量、人的身高、年降雨量等。
若隨機變數$X$的密度函式為
$p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},-\infty<x<+\infty$
稱$X$服從正態分佈或高斯分佈。
當$\mu=1,\sigma^2=1$時，上面的概率密度函式變為
$$f(x)=e^{-x^2/2}/\sqrt{2\pi}$$
它是正態分佈$N(0,1)$的密度函式。同時被稱為標準正態分佈，其密度函式與分佈函式通常分別被記為$\varphi(x)$和$\Phi(x)$。標準正態分佈很重要，因為任意的正態分佈$N(\mu,\sigma^2)$的計算很容易轉化為標準正態分佈$N(0,1)$。
若$X\sim N(\mu,\sigma^2)$，則$Y=(X-\mu)/\sigma\sim N(0,1)$
4.2. 均勻分佈
若隨機變數$X$的密度函式為
$$p(x)=\begin{cases}\frac{1}{b-a},&a<x<b; \\ 0,&其他。\end{cases}$$
則稱$X$服從區間$(a,b)$上的均勻分佈，記作$X\sim U(a,b)$
4.3. 指數分佈
若隨機變數$X$的密度函式為
$$p(x)=\begin{cases}\lambda e^{-\lambda x},&x\ge0; \\ 0 , & x<0。\end{cases}$$
則稱$X$服從指數分佈，記作$X\sim Exp(\lambda)$
下圖顯示了指數分佈當$\lambda=1$（虛線）和$\lambda=2$（實線）時的曲線圖。$f(x)$在$x=0$處不連續。
因為指數分佈隨機變數只可能取非負實數，所以指數分佈被用作各種“壽命”分佈，譬如電子元件的壽命，動物的壽命等。
$$P(x\le X\le x+h)|X>x)/h = \lambda, h\to 0$$
上式表明，如果元件在$x$時尚表現正常，則的$X>x$時間內失效率為一個常數$\lambda$，也就是說元件在任意時刻突然失效的概率跟它使用了多久沒有關係，只與失效率$lambda$有關。根據後面期望計算得到$\lambda^-1$就是平均壽命。
指數分佈描述的是一種無老化的壽命分佈，在實際中是不可能的，因而只是一種近似。對一種元器件在使用初期老化現象很小，所以在這個階段指數分佈描述了其壽命分佈情況。而人在50或60歲之前，生理老化而死亡的因素是次要的。排除那些意外情況，人的壽命在這個階段也是接近指數分佈的。
4.4. 威布林分佈
指數分佈在壽命問題上忽略了老化問題，如果我們需要考慮老化問題，則顯然失效率真應該隨時間而上升，不能為常數，比如取為一個$x$的增函式：$\lambda x^m$，那假若分佈函式為$F(x)$，則有$F’(x)/[1-F(x)]=\lambda x^m$，結合$F(0)=0$，得出：
$$F(x)=1-e^{-(\lambda/m+1)x^{m+1}}$$
取$\alpha=m+1(\alpha>1)$，並把$\lambda/(m+1)$記為$\lambda$，得到：
$$F(x)=1-e^{-\lambda x^{\alpha}},x>0$$
概率密度函式為：
$$f(x)=\begin{cases}\lambda\alpha x^{\alpha-1}e^{-\lambda x^{\alpha}},&x>0; \\ 0 , & x\le 0。\end{cases}$$
實際上指數分佈是威布林分佈當$\alpha=1$時的特例。