資訊熵（夏農熵）

應用：

解決了對資訊的量化度量問題，一條資訊的資訊量大小和它的不確定性有直接的關係。

我們要搞清楚一件非常非常不確定的事，或是我們一無所知的事情，就需要了解大量的資訊。相反，如果我們對某件事已經有了較多的瞭解，我們不需要太多的資訊就能把它搞清楚。所以，從這個角度，我們可以認為，資訊量的度量就等於不確定性的多少。

原理：

變數的不確定性越大，熵也就越大，把它搞清楚所需要的資訊量也就越大。

以世界盃賽為例，賽後我問一個知道比賽結果的觀眾“哪支球隊是冠軍”？ 他不願意直接告訴我， 而要讓我猜，並且我每猜一次，他要收一元錢才肯告訴我是否猜對了，那麼我需要付給他多少錢才能知道誰是冠軍呢? 我可以把球隊編上號，從 1 到 32， 然後提問： “冠軍的球隊在 1-16 號中嗎?” 假如他告訴我猜對了， 我會接著問： “冠軍在 1-8 號中嗎?” 假如他告訴我猜錯了， 我自然知道冠軍隊在 9-16 中。 這樣最多隻需要五次， 我就能知道哪支球隊是冠軍。所以，誰是世界盃冠軍這條訊息的資訊量只值五塊錢。

夏農不是用錢，而是用 “位元”（bit）”這個概念來度量資訊量。 一個位元是一位二進位制數，計算機中的一個位元組是八個位元。在上面的例子中，這條訊息的資訊量是五位元。

計算例項