SciTech-BigDataAIML-KL散度:測度比較"兩Distribution(機率分佈)"的Similarity(接近度)

abaelhe發表於2024-10-26

KL(Kullback-Leibler Divergence)散度: 用於比較兩個機率分佈之間的接近度

AI領域最重要的分佈度量方法

KL散度
全稱
用途:比較兩個機率分佈的接近程度
在統計應用中,我們經常需要用一個簡單的,近似的機率分佈f”來描述
觀察資料D或者另一個複雜的機率分佈f
這個時候,我們需要一個量來衡量我們選擇的近似分佈
f相比原分佈∫究竟損失了多少資訊量,這就是KL散度起作用的地方

相關文章