數學與程式設計——概率論與數理統計
D(x)=E{[x−E(x)]2} D(x)=E\{[x-E(x)]^2\}:相對於平均數差距的平方的期望;- 數理統計一詞的理解:mathematical stats,也即用數學的觀點審視統計,為什麼沒有數理概率,因為概率本身即為數學,而對於統計,random variable 的性質並不全然瞭解,所以數理統計在一些書裡又被稱作:stats in inference(統計推論,已知 ⇒ 未知)
- 概率與統計的中心問題,都是random variable,
PMF與PDF
PMF:probability mass function,概率質量函式,是離散型隨機變數在各特定取值上的概率。與概率密度函式(PDF:probability density function)的不同之處在於:概率質量函式是對離散型隨機變數定義的,本身代表該值的概率;概率密度函式是針對連續型隨機變數定義的,本身不是概率(連續型隨機變數單點測度為0),只有在對連續隨機變數的pdf在某一給定的區間內進行積分才是概率。
notation
假設
注意這在所有實數上,包括那些
離散型隨機變數概率質量函式(pmf)的不連續性決定了其累積分佈函式(cdf)也不連續。
共軛先驗(conjugate prior)
所謂共軛(conjugate),描述刻畫的是兩者之間的關係,單獨的事物不構成共軛,舉個通俗的例子,兄弟
這一概念,只能是兩者才能構成兄弟。所以,我們講這兩個人是兄弟關係,A是B的兄弟
,這兩個分佈成共軛分佈關係,A是B的共軛分佈
。
p(X|θ) p(X|\theta):似然(likelihood)p(θ) p(\theta):先驗(prior)p(X) p(X):歸一化常數(normalizing constant)
我們定義:如果先驗分佈(
幾個常見的先驗分佈與其共軛分佈
先驗分佈 | 共軛分佈 |
---|---|
伯努利分佈 | \textrm{beta distribution} |
\textrm{Multinomial} |
\textrm{Dirichlet Distribution} |
\textrm{Gaussian Distribution} |
|
\textrm{Gamma Distribution} |
|
\textrm{Gaussian-Gamma Distribution} |
最大似然估計(MLE)
首先來看,大名鼎鼎的貝葉斯公式:
可將
現給定樣本集\mathcal{D}=\{x_1,x_2,\ldots,x_N\}
p(\mathcal{D}|\theta)=\prod_{n=1}^Np(x_n|\theta)
為便於計算,再將其轉換為對數似然函式形式:
\ln p(\mathcal{D}|\theta)=\sum_{n=1}^N\ln p(x_n|\theta)
我們不妨以伯努利分佈為例,利用最大似然估計的方式計算其分佈的引數(p
f_X(x)=p^x(1-p)^{1-x}=\left \{ \begin{array}{ll} p,&\mathrm{x=1},\\ q\equiv1-p ,&\mathrm{x=0},\\ 0,&\mathrm{otherwise} \end{array} \right.
整個樣本集的對數似然函式為:
\ln p(\mathcal{D}|\theta)=\sum_{n=1}^N\ln p(x_n|\theta)=\sum_{n=1}^N\ln (\theta^{x_n}(1-\theta)^{1-x_n})=\sum_{n=1}^Nx_n\ln\theta+(1-x_n)\ln(1-\theta)
等式兩邊對\theta
\frac{\partial \ln(\mathcal{D}|\theta)}{\partial \theta}=\frac{\sum_{n=1}^Nx_n}{\theta}-\frac{N}{1-\theta}+\frac{\sum_{n=1}^Nx_n}{1-\theta}
令其為0,得:
Beta分佈
我們來看當先驗分佈為
對應於python中的math.gamma()
及matlab中的gamma()
函式(matlab中beta(a, b)=gamma(a)gamma(b)/gamma(a+b)
)。
條件概率(conditional probability)
讀作:
given
條件概率的計算
仍然從樣本空間(sample space)的角度出發。此時我們需要定義新的樣本空間(給定條件之下的樣本空間)。所以,所謂條件(conditional),本質是對樣本空間的進一步收縮,或者叫求其子空間。
比如一個人答題,有
本質是樣本空間從
新樣本空間下
最後我們得到條件概率的計算公式:
考慮某事件
條件概率與貝葉斯公式
條件概率:
貝葉斯公式:
其實是可從條件概率推導貝葉斯公式的:
證明:P(B,p|D)=P(B|p,D)P(p|D) P(B,p|D)=P(B|p,D)P(p|D)
References
[1] 概率質量函式
相關文章
- 數學與程式設計:“概率論”總結程式設計
- 概率論與數理統計的學習(歸納+總結)
- 人工智慧必備數學基礎:概率論與數理統計(1)人工智慧
- 人工智慧必備數學基礎:概率論與數理統計(2)人工智慧
- 數學-概率與統計-數理統計-總結(四):方差分析及迴歸分析
- 概率論與梳理統計-隨機變數random variables隨機變數random
- 圖解AI數學基礎 | 概率與統計圖解AI
- 數學與程式設計:“機率論”總結程式設計
- [概統]本科二年級 概率論與數理統計 第二講 幾何概型
- 深度學習、資訊理論與統計學深度學習
- 概率論11 協方差與相關係數
- 程式設計與線性代數程式設計
- 微機原理與系統設計筆記1 | 緒論與數製表示筆記
- 程式、程式設計與三論程式設計
- shell程式設計規範與變數程式設計變數
- iOS 與 函數語言程式設計iOS函數程式設計
- 概率論——數學——大學課程學習
- 得物社群計數系統設計與實現
- 01 shell程式設計規範與變數程式設計變數
- 響應式程式設計與MVVM架構—理論篇程式設計MVVM架構
- 概率論與數理統計中基於有限樣本推斷總體分佈的方法,基於總體未知引數區間估計的假設檢驗方法之討論,以及從數理統計視角重新審視線性迴歸函式本質函式
- 小學數學程式設計題程式設計
- 函數語言程式設計與RxJava(附demo)函數程式設計RxJava
- Scala函式與函數語言程式設計函式函數程式設計
- 函數語言程式設計的優與劣函數程式設計
- 【外刊IT評論】Web程式設計是函數語言程式設計Web程式設計函數
- JavaScript函數語言程式設計之pointfree與宣告式程式設計JavaScript函數程式設計
- 機器學習數學知識積累之數理統計機器學習
- [程式設計]UML語言:理論之光與實踐之惑程式設計
- 機器學習數學知識積累之概率論機器學習
- JavaScript 函數語言程式設計導論JavaScript函數程式設計
- 數理統計基礎 統計量
- 初等數學I 自然數 第二節 序數理論基礎與自然數的運算
- 《Python程式設計練習與解答》之程式設計概論Python程式設計
- 淺談函數語言程式設計與 Java Stream函數程式設計Java
- 王垠:數學和程式設計程式設計
- PYTHON程式設計導論群【提問與解惑】資料統計Python程式設計
- 國外與國內,數學與計算機 (轉)計算機