資訊熵概念隨筆——資訊熵、資訊的熵

曉劍劍無憂發表於2018-07-24
熵
      之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0～1；為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所瞭解的兩個角度講下這兩種情況。
      
       1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不確定的時候，不確定度就是1（例1如：我問你明天下不下雨，你告訴我說，明天不下雨的話，早上想晨跑，此時，“明天不下雨的話，早上想晨跑”這個資訊對於我想知道明天下不下雨沒有任何意義，通過這個資訊，我還是不知道明天是否會下雨）反之，當資訊完全確定的時候，那麼它的不確定度就是0（例2如：你問我現在外面在下雨嗎？我說，外面正在下雨，此時，“外面正在下雨”這個資訊已經明確了，百分百的確定了現在外面在下雨。）
      如果例1當中，你又說，你不久前看了天氣預報，預報說明天有陣雨，這時，明天下不下雨的確定性就有所增加了，明天可能會下雨，相應的不確定性就減小了，也就是事物的不確定度小於1了。
      所以，隨著事物不確定程度的變化，它（資訊熵）的取值範圍就在0～1之間變動。
      
      2.資訊熵公式所求的值，則是從資訊量出發，用來定義資訊量的多少。就拿上面例子所講的，例1中，我問你明天下不下雨，你告訴我說，“明天不下雨的話，早上想晨跑，不久前剛看了天氣預報說明天會有陣雨”，其中你所講的話就是資訊，而對我所問的問題，“天氣預報說明天會有陣雨”這個資訊是有價值的，能改變我對明天是否下雨這件事的確定程度。在這裡資訊熵就是用來度量此類資訊的量，此類資訊越多，資訊熵就越大。如果例1中，你說，“明天不下雨的話，早上想晨跑，早上想吃包子，想晚點起床”，那麼對於我想知道明天是否下雨這件事，沒有任何價值，所能提供的有效資訊是0，此時，資訊熵也就是0。這裡就引出了資訊熵的一個特性，不為負值。也就是說，資訊最少的情況就是沒有資訊，沒有資訊，就是0資訊，不存在負的資訊這玩意。
      
      綜上，就是資訊熵兩種情況下的定義和值。
      
      點題，可以用一個“的”字來區分理解：
      資訊熵：用來描述事物的不確定度，值0～1；
      資訊的熵（類等於 資訊的量）：用來描述資訊的量，能夠減少事物不確定性的資訊越多，值越大，反之越小，且不為負值。
      
      
      以上為本人對資訊熵的理解，供大家參考，如有不同見解，歡迎指教～


相關文章