KL(Kullback-Leibler Divergence)散度: 用於比較兩個機率分佈之間的接近度
AI領域最重要的分佈度量方法
KL散度
全稱
用途:比較兩個機率分佈的接近程度
在統計應用中,我們經常需要用一個簡單的,近似的機率分佈f”來描述
觀察資料D或者另一個複雜的機率分佈f
這個時候,我們需要一個量來衡量我們選擇的近似分佈
f相比原分佈∫究竟損失了多少資訊量,這就是KL散度起作用的地方
KL(Kullback-Leibler Divergence)散度: 用於比較兩個機率分佈之間的接近度
AI領域最重要的分佈度量方法
KL散度
全稱
用途:比較兩個機率分佈的接近程度
在統計應用中,我們經常需要用一個簡單的,近似的機率分佈f”來描述
觀察資料D或者另一個複雜的機率分佈f
這個時候,我們需要一個量來衡量我們選擇的近似分佈
f相比原分佈∫究竟損失了多少資訊量,這就是KL散度起作用的地方