《資訊簡史》讀書筆記

資訊（意義層面）的發展史——轉折點

資訊的冗餘降低效率，但避免混淆，糾錯——為了克服奇異和糾錯而專門引入額外的位元。

文字是一種以範疇而非事件來組織經驗，並將其抽象化，分門別類的工具。它可以讓資訊穿越時間，使人們對其進行學習和分析，併為邏輯的出現打下基礎，這是在沒有文字之前的口語時代所難以想象的。任何能夠創造出有效的差異，可為某種感官所感知的東西，都足以作為表達思想的手段。

資訊（非意義層面）論的建立

不完備性——在PM以及任何能夠進行基本算術計算的自洽的邏輯體系內部，必定存在這樣受詛咒的命題，它們成立卻不可被證實。一個自洽形式體系必定是不完全的，不可能存在完全且自洽的形式體系。

一條訊息可以看做一個隨機過程，不僅取決於系統當前狀態，還可能取決於它之前的歷史；就像一個動力系統，它的未來走向受到過去歷史的影響。

熵

物理——度量能量不可用（無法用於做功）的程度，熱力學第二定律“宇宙的熵恆增”只是在概率上成立，統計上，萬事萬物都將趨於熵最大化，宇宙從可能性較小的（有序）巨集觀狀態演化為可能性較大的（無序）巨集觀狀態，而生物的有趣之處在於其能短暫地違背熱力學第二定律。

資訊理論——度量一條訊息的不確定程度，通過只允許回答是或者否的問題來猜出一條未知訊息時所需問問題的平均數目。

數學 ——計算一個系統的所有可能組合，無序狀態遠多於有序，所以有序的熵低，出現概率也低。要達到可觀的有序度，出現概率更可能會非常低。

麥克斯韋妖——用資訊降低熵 ，而獲取資訊會增加熵。1位元資訊對應klog2個單位的熵。 資訊即熵。

妖與機械計算--許多計算可以不耗費任何能量完成，熱量的耗散只有在擦除資訊的時候才會產生，擦除是一種不可逆的邏輯操作。麥克斯韋妖在觀察或者選擇一個分子時無需付出熵的代價，只有在消除記錄，即妖在擦除上一次觀察的結果，為下一次觀察騰出空間時，熵增加才會發生。遺忘需要功。

資訊理論的思想與其他學科（生物學、傳播學、量子力學）的碰撞——資訊轉向

《自私的基因》——“我們不過是生存機器--某種機器人載具，被盲目地程式設計為用來保全一種稱為基因的自私分子。” 自私是指提升自身相對於競爭者的存活機率的傾向。基因的差異可能影響表現型的差異。

模因theory——一種無形的複製子，通過一個廣義上可稱為模仿的過程在一個個大腦間跳轉，從而在模因池中傳播開來。各個模因相互競爭，以爭奪有限的資源，如大腦的運算時間或頻寬，或者說大腦的注意。將宿主中的某個行為或者想法比作病毒，使其他個體感染。只要條件合適，複製子就會自動抱團，以創造出能承載自己並幫助自己的持續複製的系統或機器。故事就是一個例子——“構成人類世界的是故事，而不是人。那些被故事用來講述自己的人，不應該受到責備。”

生成一個物件所需的最短（通用圖靈機）演算法的長度，即物件的柯爾莫哥洛夫複雜度，它也度量了資訊量和隨機程度，三者本質上是等價的。

絕大部分數是隨機的（不存在冗餘/可壓縮部分），其中只有極少數能證明是隨機的假設給定1000位元的長度，可以生成的數有2^1000個，但用1000位元能寫出來的有用計算機程式來描述的數卻遠遠達不到這個數量。正整數太多，因此如果要求程式長度必須比數本身小，那麼它們絕對不足以命名所有正整數。貝里悖論（不完全性在資訊理論角度的證明）

一個混沌的資訊流中可能隱含著一個簡單演算法，但想要從混沌中逆推出該演算法也許是不可能的。 真正隨機的序列是正規的（長期平均下，每個數出現的概率相同），反之不成立。即正規是必要條件。

量子位元是一種態疊加，不同概率幅的線性組合。用一臺本身也是基於概率的計算機C來模擬基於概率的自然N，即C從初始狀態變為某種最終狀態的概率與N從相應初始狀態變為相應最終狀態的概率相同。但難以操縱，從量子系統獲得資訊的觀察會干擾該系統。在眾多量子位元並行處理其呈指數增長的操作時，一旦試圖去測量其錯綜複雜的概率，它們退化成經典位元，想要知道計算結果，只能等到量子操作結束。

資訊過載及其應對——意義的迴歸

資訊如此之多，有我們需要的資訊，但是“有”和“能找到”之前還有一道巨大的鴻溝。一個珍藏了所有資訊的圖書館，但在其中卻無法找到任何知識，因為所有知識和謬誤都包含在其中，難以區分。資訊不等於知識，知識不等於智慧（方法論）。

資訊過載的應對手段是過濾或者搜尋，在資訊經濟領域取得成功的企業都是建立在過濾和搜尋的基礎之上，而已非營利的維基百科也是兩者結合的產物：主要由Google驅動的強大的搜尋機制，以及通過相互協作努力做到去偽存真的大量過濾器。

本文作者：@紅勤實健_雲馳
原文地址：#讀書筆記#《資訊簡史》