SciTech-BigDataAIML-KLD(KL散度)：測度比較"兩Distribution(機率分佈)"的Similarity(接近度)

KLD(Kullback-Leibler Divergence，KL散度): 測度比較兩Distribution的Similarity

• AI領域最重要的 Measure Method of Distributions(分佈度量方法)
• 簡寫和全稱: KLD(Kullback-Leibler Divergence, KL散度)
• 用途: 測度比較兩Distribution的Similarity(
  • 統計應用上, 我們經常需要：
    用一個常用、元件模組化、簡單近似的 \(\large Distribution\) $\large f^* $，
    去描述另一個複雜的， \(\large Distribution\) $\large f $ 或 \(\large Observations(觀察資料)\) \(\large D\)；
  • 這時,我們需要一個量來衡量我們選擇的 \(\large \bm{ Approximated\ Distribution}\) $\large f^* $
    對比原 \(\large Distribution\) \(\large f\) 總共 \(\large Loss\) 多少\(\large \bm{ Information(資訊量)}\)。
    這就是KL散度起作用的地方。