多元/多維高斯/正態分佈機率密度函式推導 (Derivation of the Multivariate/Multidimensional Normal/Gaussian Density)

Gaowaly發表於2024-08-11

各種維度正態分佈公式:

一維正態分佈

二維正態分佈/多維正態分佈

各向同性正態分佈

注:即方差都是一樣的,均值不一樣,方差的值可以單獨用標量表示。

多元/多維高斯/正態分佈機率密度函式推導 (Derivation of the Multivariate/Multidimensional Normal/Gaussian Density)

作者:凱魯嘎吉 - 部落格園 http://www.cnblogs.com/kailugaji/(大佬大佬!!)

當年在學《機率論與數理統計》時,遇到二元正態分佈的機率密度函式,那個公式特別長,當時只是要求記住,並未深究其原因,今天終於有機會好好回顧一下了。二元/二維只是多元的一個特例,現在將問題延伸到多元/多維高斯/正態分佈機率密度函式的推導上。多元高斯分佈在很多場景下都有用,比如高斯混合模型(Gaussian Mixture Model)中,每個元件都是單個多元高斯分佈,樣本不僅是一維的,現實中大多是資料樣本都是多維的。只有真正弄清楚公式的來龍去脈,來能更好的編寫程式,進行實現(雖然很多包都是現成的,不需要自己從頭編寫)。想要推導機率密度函式公式,需要知道線性代數中矩陣論的一些基礎知識,從單變數到二元/二維再延伸到多元/多維,本身就涉及到從標量到向量再到矩陣的一個過程。這篇部落格詳細推導了多元/多維高斯/正態分佈機率密度函式公式,並應用到二維高斯分佈中,進行進一步分析。也給出了當維度之間獨立同分布(Independent identically distributed, i.i.d.)情況下多維高斯分佈的機率密度函式的特例。值得注意的是,整個過程僅是對一個樣本進行計算,該樣本無論是一個標量,還是一個多維向量,最終出來的機率密度函式都是一個數(標量)。如果有N個樣本(按列排開)的話,其機率密度函式就是N維列向量。

注意:多元就是多維,高斯分佈就是正態分佈。(只是大概推導,過程可能並不嚴謹,望海涵)

1 前提基礎

  包括連續隨機變數變換法(Transformations of Continuous Random Variables),單變數正態分佈的機率密度函式(Univariate Normal Density),以及隨機變數間的獨立性(Independence of Random Variables)。

2. 多維高斯分佈的機率密度函式定義及其推導

3. 多維高斯分佈的機率密度函式(維度之間獨立同分布)

4. 二維高斯分佈的機率密度函式定義及其推導

參考文獻:機率論筆記(六)一維正態分佈/二維正態分佈/多維正態分佈-CSDN部落格

多元/多維高斯/正態分佈機率密度函式推導 (Derivation of the Multivariate/Multidimensional Normal/Gaussian Density) - 凱魯嘎吉 - 部落格園 (cnblogs.com)

[1] 茆詩松, 程依明, 濮曉龍. 機率論與數理統計教程. 高等教育出版社, 2011.

[2] The Multivariate Normal Distribution http://www.randomservices.org/random/special/MultiNormal.html

[3] Basic Multivariate Normal Theory http://www2.stat.duke.edu/~st118/sta732/mvnormal.pdf

[4] 凱魯嘎吉 - 部落格園 - 左邊欄搜尋"高斯"相關博文 https://zzk.cnblogs.com/my/s/blogpost-p?Keywords=%E9%AB%98%E6%96%AF

相關文章