學習筆記《Information Entropy》

資訊熵（Information Entropy）的定義是：

對資訊隨機性的量度，指資訊能被壓縮的極限

資訊熵能夠被如此等價的一個預設是：在依據資訊做預測的時候，對預測毫無幫助的資訊我們稱為無資訊量，比如「今天太陽升起來了」，但是對於預測有極大幫助的資訊，則稱為含有很高的資訊量，比如招聘某個員工時候的履歷（預測此員工未來的表現），在提供「資訊量」的過程中，「資訊熵」表示的就是資訊可以被壓縮的極限

“熵”是資訊理論中最基本最重要的一個概念，夏農最初想用“資訊” （information） 來表達這一概念，但這個詞當時已經被用濫了。夏農便放棄用資訊這個詞。馮·諾依曼建議夏農用“熵”；並給出二個理由：一是夏農原本想用的“不確定性”（uncertainty）這個概念已經用於統計力學，二是沒人知道“熵”倒底是什麼，用它不會引起爭論。不過馮·諾依曼畢竟見多識廣，他早就知道“熵”已被用於熱力學系統，但卻僅是一個可以通過熱量改變來測定的物理量，其本質仍沒有很好地得到解釋。正如所料，“熵”這一概念被延伸到資訊理論後，其本質才逐漸被解釋清楚，資訊理論對熵的本質的解釋就是“系統內在的混亂程度”。漢語中本無“熵”字，1923年德國物理學家普朗克（M. Planck）來華講學時用到entropy這個詞，由於entropy在表達形式上是兩個量相除的商，我國著名物理學家胡剛復教授在現場口譯時，把這個詞翻譯成“商”字加“火”旁創造了漢語的一個新術語“熵”。

Claude Shannon 是一個非常有趣的傢伙，用10年左右建立和完善 information theory 以後，用餘下的幾十年造各種有趣的小玩意（雜耍機器人、自動魔方機、The Ultimate Machine 等等），Shannon 最偉大的地方，是構建了資訊學和數學之間的橋樑，從而讓資訊學成為一門可以被換算的學科

建立資訊理論時候的論文《A Mathematical Theory of Communication》：
http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf

這篇論文非常厲害，在創立一個領域的時候就對這個領域進行了完備的證明：

《The Idea Factory》: It was one of the rare memonts in history, where somebody founded a field, stated all the major results, and proved most of them all pretty much at once.

文章發表的過程也頗為有趣：

夏農的關於資訊理論的文章於1948年分二期發表在《貝爾系統技術期刊》上。這份出版物幾乎沒有什麼圖書館訂閱，類似於我們今天某單位的內部參考之類。當時的研究人員幾乎是靠口口相傳的蠢笨方式獲知夏農的工作。於是就紛紛給夏農直接寫信索要該文的影印本。即便如此，也沒幾個人能讀懂夏農的文章。原因是工程師認為該文數學內容太深了；數學家又對文章中的工程學背景缺乏瞭解。可是，畢竟還是有慧眼識金的人物。時任洛克菲勒基金會自然科學部主任的韋弗（W. Weaver）認識到該文的價值。他告訴基金會的主席，夏農之於通訊理論的貢獻，就如同“吉布斯之於物理化學”。1949年，韋弗在《科學美國人》雜誌發表了一篇不是很技術化的讚譽夏農工作的普及文章，深入淺出地介紹了夏農工作的重要性。之後韋弗的文章和夏農的論文被集結成書，以《通訊的數學理論》(The Mathematical Theory of Communication)為題公開出版。請注意，夏農的論文題目用的是不定冠詞“A”，而韋弗與他合著的書卻用了定冠詞“The”。在英語中，從不定冠詞變為定冠詞馬上就從謙虛變為自負！難道夏農的資訊理論不是自負的一種理論嗎？它的問世改變了一個時代！

Shannon 誕辰100週年時候的介紹：
https://www.youtube.com/watch?v=pHSRHi17RKM

公式：

對公式的解釋：
https://www.youtube.com/watch?v=2s3aJfRr9gE
https://www.youtube.com/watch?v=9r7FIXEAGvs

我的理解：
資訊量，不和資訊的長度相關，而是和資訊獲取以後的解壓時間成正比，這個解壓時間可以理解成一種人大腦中的思考行為（大腦只適合思考長度很短的資訊），也可以理解成電腦的解壓次數（電腦只有全解壓以後才能讀取使用）

資訊熵主要的價值就在於建立了數學和這種解壓之間的關係，從而可以計算出資訊的壓縮極限

資訊量和資訊的重要性是沒有關係的（資訊和意義無關），所以「資訊量」更適合作為一個通訊行業內的概念

不同的人之間，對資訊的理解能力差別也是非常大的，比如愛因斯坦和普通人對於某些梳理現象的理解，所以對於接收方對資訊的有效接受量，是無法通過「資訊熵」來評估的

《一個理論改變了一個時代 ——夏農誕辰百年紀念》：
http://blog.sciencenet.cn/blog-105489-1015851.html