一條妙計確保你的AI模型總是有幫助

當我們在討論溫度的時候，我們不會認為自己扔掉了大量的資訊。如果我問某人外面有多熱，他們開始列舉各種空氣粒子的位置和速度來說明，那我會趕緊走開。

現實是，作為人類，我們對“能提供充足資訊”和“有用”之間的區別有著與生俱來的理解能力。我們會告訴別人外面很熱，但不會說它的溫度是38.94攝氏度，這樣既不麻煩又能說明問題。這種刪減和總結資訊的行為是預測的本質，在本文中，我將解釋如何定義、度量(近似)和利用這一過程來改進預測模型和人工智慧(以及在預測天氣這樣的問題中給出正確的答案)。

圖1

1.玻爾茲曼對熵的理解

沒有什麼比一個好的理論更實際的了。

                                                                                                             - 路德維希·玻爾茲曼

 如果你熟悉熵的概念，你可能已經瞭解了其中一兩個系統的定義(例如熱力學熵，資訊熵，等等)。不然的話，別人會告訴你它其實是一種“隨機性”的衡量標準(定義隨機性是另一個主題)。（雷鋒網 (公眾號：雷鋒網)）

我認為熵的定義有很多種，所有這些定義描述的都很詳細，在不同的情境中都多多少少有用(儘管我通常反對將其稱為是一種“隨機性”的衡量標準)。我最喜歡的定義之一，最早是在1875年左右由天才路德維希·玻爾茲曼(Ludwig Boltzmann)提出的，現在通常被稱為玻爾茲曼熵或是玻爾茲曼熵公式。

玻爾茲曼認為，熵與微觀狀態和巨集觀狀態之間的關係直接相關。對於系統給定的任何巨集觀上的描述，如果能與更多的微觀狀態下的描述相結合，熵就會更高。這個理論最初提出的時候是用來描述容器中的氣體例子的，在這個情境中會比較容易理解它的含義。

 圖2：摘要中增加了熵，並建立了方向性

在左側，這個系統的微觀狀態被定義為：容器中所有氣體粒子的速度、質量和位置(這是非常具體的描述)。相反，在右側，將微觀狀態概括為溫度，就產生了一種可能的巨集觀狀態(這個描述就不那麼具體了)。在巨集觀狀態下有一些非常有趣的特性：它是不可逆的(你不能只根據溫度這一個條件就對所有粒子進行完全描述)；它不那麼複雜(資訊少所以得到的結論也少)；但它仍然是準確的(容器真的是38.94攝氏度)；最重要的是，它不太具體(不止一個微觀狀態適合它)。

 

圖3：給定的巨集觀狀態將具有多個與其相容的微觀狀態。

這就是玻爾茲曼熵的關鍵：每個巨集觀狀態都有許多與之相容的微觀狀態。定義溫度的方式意味著顯示在左側(上圖所示)的三個容器中的任何一個都會產生相同的溫度。這種微觀狀態越多，熵就越大：“這個容器的溫度為38.94°C”。

儘管溫度這個條件很普遍，但它並不是玻爾茲曼熵唯一適用的方面。任何人與人之間的對話中都包含高熵語句，人們會仔細選擇具有描述性的語句，同時也不會太過具體。例如，我可以將這篇文章的縮圖描述為“一副內容是蒙娜麗莎的剪貼畫，可以重複使用”(它確實是這樣的)。但是，假若你還沒有看到這個特定的影象，那麼這些微觀狀態中的任何一項都可能同樣適合該巨集觀狀態：

 

圖4：所有這些都可以對應“一副內容是蒙娜麗莎的剪貼畫，可以重複使用”。

經過這個例子的說明，很明顯可以看到，熵可以出現在意想不到的地方，但到目前為止，我們還沒有采取任何措施將其與AI或預測聯絡起來。在此之前，我們先來聊聊地圖。

2.地圖中存在的問題

 

“以貓為例，貓最好的物質模型是另一隻貓，或者說最好是一隻完全相同的貓。”

 

- Norbert Wiener，科學哲學(1945 )

我們來做一個小小的思考實驗。 想象一下，我問你去多倫多那個奇怪的新加菲貓主題披薩店的路線，但我們倆都沒有手機，我只有紙和筆。如果你知道怎麼走，那你可能不會猶豫，你畫出來的地圖看起來會像是這樣：

 圖5

對我們倆來說不好的一點的是，我很容易被搞糊塗。我必須繼續詢問：“北是哪邊？”

你只能鬱悶的嘆口氣並繼續補充

 圖6：我想這些已經畫的已經夠多得了

你可能已經能看出來這是什麼意思了，但我還在要求更為詳細的說明。直到最後，你的地圖看起來很可能會像這樣：  

圖7：這是真正的餐廳

你為了讓我瞭解清楚兒增加了很多的細節，但其實其中的絕大部分都是毫無意義的，地圖的意圖是引導我去吃美味的千層麵披薩。事實上，如果我們繼續這樣下去，我們最終會意識到，一份最準確、最具描述性、最完整的覓食地圖其實就是整個地區的一比一複製品，餐廳裡面也坐滿了急急忙忙吃東西顧不上說話的人。如果你要靠地圖來導航，那地圖裡的資訊需要比真實地區的資訊少一些。如果這張地圖和這個地方本身的熵值是一樣的，那麼對我來說沒有任何幫助。

模型的實用價值介於完整的描述和抽象的草圖之間。如果你不相信我，只需看看多倫多市的地圖和多倫多的地鐵圖上顯示的內容有什麼不同：

圖8：來自MapTO分析的地圖 http://www.mapto.ca/maps/2017/5/9/the-newest-ttc-map-is-distorted

如果把地圖上顯示的路線做一些扭曲，把一些路線多重疊交叉了那麼幾次(改變了拓撲結構)，那麼它就不再是一個有用的工具了。然而，以正確的方式扭曲它，忽視關於尺度和距離的資訊，地圖將會變得更加有用，可以快速瞭解在下車前剩下多少站點。在對系統進行建模時，它應該包含儘可能少的細節，以便能最大限度的達到預期目的。

[我強烈建議你在Twitter上使用@mapTOdotca，如果你想要了解地圖的話]

3.天氣的狀況

預測是困難的。尤其是關於未來的預測

 

-Niels Bohr

你對明天的天氣做出的最準確的預測是什麼？當那個重要的日子(明天)來臨的時候，什麼樣的預測最有可能實現。

• 天氣晴朗，最高溫度27°C，最低溫度18°C，伴隨漲潮和海洋變暖

• 下午2時至4時將有2mm的降水。

• 氣溫會比昨天有所上升

• 以上全部

當然，這個問題的答案取決於你對天氣的瞭解，以及隨著時間的推移天氣它會如何發揮作用，但如果你沒有任何預測天氣的能力，你最好的選擇是選項#3，即氣溫會比昨天有所上升。與其他預測相比，這一預測具有很高的熵。會有許多天氣的微狀態與“氣溫比昨天有所上升”這個預測相相容。

如果你嘗試預測天氣，並不一定需要低熵預測。如果你在考慮是否應該帶雨傘去上班，你只需要知道今天是否會下雨。如果你在耕作，你可能需要更少的熵：那裡的總降雨量是多少？

在所有這些不同的天氣預測例子中，有一點是不變的，預測總是需要比用於生成預測和/或模型的高度詳細的資料具有更多的熵。

4.總結謬誤

 混亂是一條階梯

 - Littlefinger

每當我開始建模的時候，我首先花一些時間嘗試把我的問題都按照詳細程度在一個梯子上從下到上列出來。我這麼做的原因是為了避免陷入總結謬誤：相信你做出的有用的預測的熵和你的資料的熵在同一水平上。要避免這個謬誤只需要一條規則，它不困難，但是很有用：總是向梯子的上方做預測。始終在比用於生成預測的資料更高的熵水平上進行預測。

圖9

現在，在我自己的日常生活中，這通常與預測小分子藥物和蛋白質之間的相互作用有關。如果我說來自高解析度晶體結構的詳細結構資料是我在1級的輸入資料，那麼我可以用它來構建能夠預測更高層次的東西的模型。這些資訊非常詳細，它描述了蛋白質和藥物相互作用時所有原子的位置。

 

圖10：如此美麗的低熵蛋白質和藥物結構，藥物結構用粉紅色來表示。

我預測的內容比較少，例如：小分子藥物X與蛋白X相互作用嗎？這類似於使用關於粒子的詳細資訊來了解溫度與容器處於“熱”或“不熱”之間的關係。這樣，在未來，如果我給我的模型設定一個溫度，它將預測“熱”。在這種情況下，我的模型只是預測“是的，這種藥物會以某種方式與這種蛋白質相互作用。”如果我想設計一種更好的藥物，這個二元預測對我來說仍然是有用的，但它還不夠詳細，無法重建特定的原子用以預測互動的細節。如果我的模型那麼做了，那我是不會相信的。一般來說，你只應該爬上梯子，而不是再次退下來進行預測。這就是總結謬誤。

5.最後的思考

 

 “所有的模型都是有錯誤的，但其中有一些是有用的”

 

- George Box

如果你像我一樣，會花很多時間來考慮自己的模型，或者嘗試使用和理解其他人的模型，那麼我希望你發現的東西是有用的。最重要的是要記住，即使目前在大肆宣傳的人工智慧和機器學習，人工智慧仍然是有侷限性的。理解和尊重這些限制條件並不會阻礙你，相反，它會讓你專注於真正重要的事情：什麼對你有用？（雷鋒網）

順便，記得天氣預報要做簡單一點。

原文連結：https://towardsdatascience.com/when-is-ai-trustworthy-when-is-ai-useful-215aaee24a6f

擴充閱讀：The User Illusion by Tor Nørretranders（文章連結：https://www.penguinrandomhouse.com/books/330619/the-user-illusion-by-tor-norretranders/9780140230123）其中定義了一個叫“exformation”的概念。

https://www.leiphone.com/news/201909/95hbQ5BSbVvBX2xw.html

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29829936/viewspace-2657080/，如需轉載，請註明出處，否則將追究法律責任。