概率公理3則

1.非負性
2.可加性
3.歸一化

序貫模型

假如連續2次擲四面骰子，其事件序貫樹形圖表示如下。
其中1結點表示事件{(1,1),(1,2),(1,3),(1,4)}
紅色部分表示事件{(1,4),(2,4),(3,4),(4,4)}

離散模型

離散概率律：樣本空間由有限個可能的結果構成，則事件的概率可由這個組成這個事件的試驗結果概率決定。
P({s1,s2,…,sn}) = P(s1)+P(s2)+…+P(sn)

栗子：
連續兩次擲硬幣，H表示正面，T表示反面。
則樣本空間Ω={HH,HT,TH,TT}
事件A = {1次正面，1次反面} = {HT,TH}
則P(A) = P(HT)+P(TH) = 1/4 + 1/4 = 1/2

古典概率:樣本空間由n個等可能性的試驗結果組成，則
P(A) = 含有事件A的試驗結果數/n

連續模型

（連續既意味著取值單位區間是一個不可數無限集，點的概率是0（不然的話不滿足歸一化的公理），所以連續模型的概率要利用長度或面積來求得）

比如ZR和ZMJ約會，遲到時間在0-60分鐘，等待時間超過30分鐘就溜了，那麼能成功約會的概率

P(可約會） = (6060 - 3060 )/ 60*60 = 1/2

條件概率

1. 給定B之下,A的條件概率
   P(A|B) = P(A∩B) /P(B)

2. 事件等概率的化
   P(A|B) = 滿足A∩B的試驗結果數/滿足B的試驗結果數

連續擲硬幣三次，若B={第一次是正面}發生，則A={正面多於反面出現的次數}發生的概率。
樣本空間Ω={HHH,HHT,HTH,HTT,THH,TTH,TTT,THT}
P(B) = 1/2
P(A|B) = P(A∩B)/P(B) = 3/8 / 1/2 = 3/4

試驗結果是等概率的，所以也闊以P(A|B) = 3/4

條件概率定義概率模型

事件A發生的充要條件是一系列A1…An全都發生，既A=A1∩…∩An，則可以用條件概率表示，A1先發生，然後A2發生
P(∩i=1到n Ai） = P(A1)P(A2|A1)…P(An|A1∩…An-1）

eg. 52張pokes連續無法放回抽取3張牌，希望沒有紅桃（13張）的概率

P(A1∩A2∩A3) = P(A1)P(A2|A1)P(A3|A1∩A2)
= 39/52 * 38/51 * 37/50

全概率定理

A1…An互不相容事件，形成一個分割 ，對於任何B
P(B) = P(A1∩B) + P(A2∩B)…+P(An∩B)
=P(A1)P(B|A1)+ … +P(An)P(B|An)

eg. 你參加棋類比賽，一類棋手有50%，你贏他們的概率是0.3；二類棋手和三樓棋手分別都有25%，你贏他們的概率為0.4和0.5，問隨機選一個你贏他們的概率

P(A1) = 0.5 , P(A2) = P(A3) = 0.25，B為你贏的概率
P(B|A1) = 0.3 , P(B|A2) = 0.4 , P(B|A3) = 0.5

P(B) = 0.5*0.3 + 0.25*0.4 + 0.5*0.25 =0.375

貝葉斯準則

將P(Ai|B)與P(B|Ai)聯絡起來
P(Ai|B) = P(Ai)*P(B|Ai) / P(B)
=P(Ai)*P(B|Ai) / P(B|A1)*P(B|A2)…*P(B|An)

理解：可以用因果推斷來理解，比如Ai表示reason，B表示由reason引起的outcome。P(Ai|B)就是由結果推斷某原因出現的概率，比如博古特拍片發現陰影，是腫瘤的概率。P(B|Ai）表示由原因推斷結果的概率。

eg.上面的棋手問題，假設你已經贏了，那麼你贏棋手1的概率是多少
P(A1|B） = P(A1)*P(B|A1) / P(A1)*P(B|A1)+P(A2)P(B|A2)+P(A3)P(B|A3) = 0.4

獨立性

若P(B)>0,P(A|B) = P(A) , A發生不受B影響，稱A和B獨立。
又P(A|B)=P(A∩B)/P(B)
所以P(A∩B) = P(A)P(B)

條件獨立

P(A∩B|C) = P(A|C)P(B|C)
P(A|B∩C) = P(A|C)

條件獨立與獨立性並不蘊涵?

eg.兩枚硬幣，一個藍色一個紅色，在擲硬幣之前有1/2概率隨機選一枚，然後進行連續2次獨立擲硬幣試驗。硬幣不均勻，藍色向上概率為0.99，紅色向上概率為0.01

B為選定藍色硬幣，Hi為第i次向上。
則P(H1∩H2|B) = P(H1|B)P(H2|B) = 0.99 * 0.99
當選定硬幣之後，拋擲結果互不影響，H1和H2是相互獨立事件

另一方面H1和H2又不是相互獨立事件（沒選定硬幣），形象理解就是如果你第一次拋是正面，那麼很有可能是藍色硬幣，根據全概率事件
P(H1) = P(B)P(H1|B) + P(B^c)P(H1|B^c）
=1/2 * 0.99 + 1/2 * 0.01 = 1/2

P(H1∩H2) = 1/2 * 0.99 *0.99 + 1/2 * 0.01 *0.01 約等於 1/2
並不相等，所以不滿足獨立。

一組事件獨立性

A1…An為n個事件，若滿足
P(∩Ai） = ΠP(Ai），則稱Ai為相互獨立事件

關於事件A1、A2、A3獨立性條件歸結於下列4點：
P(A1∩A2)=P(A1)P(A2)
P(A1∩A3)=P(A1)P(A3)
P(A3∩A2)=P(A3)P(A2)
P(A1∩A2∩)=P(A1)P(A2)P(A3)
前三個條件“兩兩獨立”並不包含第三個條件，反之成立。

可靠性

多個元件組合成一個complex系統時，常假定各個元件表現相互獨立

串聯結構有效性=p1*p2*p3
並聯結構有效性=1-P(並聯失效）= 1- (1-p1)(1-p2)(1-p3)

eg.求的C-B的有效性

P(C-B) = 1-（1-p(c-e)p(e-b))(1-p(c-f)p(f-b)) = 0.946

獨立試驗和二項概率

獨立試驗序列：由一系列獨立並且相同的小試驗組成
伯努利試驗序列：每個小試驗只有2種可能
推廣到n次伯努利試驗：p^k * （1-p)^n-k
二項式概率：（n,k)p^k * （1-p)^n-k

計數法

計數準則

考慮由r個階段組成的一個試驗，假設：
1）在第1階段有n1個可能結果
2）對第一階段任何結果，在第二階段有n2個可能結果…
3）如此
則在第r個階段，一共有
n1n2n3…nr 個試驗結果

eg(n選k排序）. 從n個物件中順序選出k個物件的方法數

第一階段n
第二階段n-1
…
第k階段n-k-1
所以一共有方法n(n-1)(n-2)…(n-k+1) = n!/(n-k)!
當k=n時，稱為排列

組合

AB兩個字母，排列有AB和BA兩種，組合只有一種。排列講究順序，組合不講究。
假如n選k，每一個組合對應著k種不同排列，所以排列數n!/(n-k)!等於組合數*k！
所以組合數 n!/(n-k)!k! (這就是二項式係數的由來！fuck）

分割

給定一個元素個數為n的set，設n1,n2…nr為非負整數，總和為n，現在考慮將具有n個元素集合分解為r個不相交子集，並且第i個子集元素個數剛好是ni，問一共有多少分解方法？
(n n1) (n-n1 n2)(n-n1-n2 n3). …(n-n1-n2…-nr-1 nr)
等價於 n!/(n1!n2!..nr!) = (n n1,n2,n3…nr)

eg. 相同字母異序詞。將TATTOO這英文單詞點到排序可得到多少個不同的單詞？

1. 分割的方法 6！/3!2!1! = 60
2. 排序方法，假如T1 T2 T3 O1 O2 A，一共有6!種排序，但T和O排序組成的單詞一樣，所以6!/3!2! = 60

eg. 有16個學生其中4個研究生，有4個房間，每個房間4個人
這是個分割問題：16!/4!4!4!4!

如果每個房間需要有1個研究生，第一階段研究生分法4！
第二階段 12！/3!3!3!
所以一共4! 12!/3!3!3!