這篇論文探討了可以根據自由能原理（FEP）來理解自然語言語法的結構和規則的想法。 FEP 是理論神經科學的一個概念，它表明包括大腦在內的生物系統透過降低內部表徵的複雜性來匹配感官輸入，從而儘量減少意外或不可預測性。
整合了兩個傳統上獨立的研究領域（生成語法和主動推理），為人類語言提出了一個新的設計原則：圖靈-喬姆斯基壓縮。
什麼是自由能
自由能是一個熱力學概念,定義為在一個系統的溫度和壓力保持不變時,該系統可以做功的最大能量。它是系統內部能量的一部分,包括內能和熵變的影響。具體來說:
- 自由能是一個狀態函式,表示系統在某一狀態下可以做的最大功。
- 自由能變化(ΔG)決定了一個化學反應是否自發進行。ΔG<0表示反應是放能的(exergonic)；ΔG>0表示反應是吸能的(endergonic)。
- 生物系統中,自由能變化與ATP水解、氧化還原反應等過程密切相關,是生命活動的能量基礎。
因此,free-energy 在這裡指的是自由能,而不是免費能量的意思。它是一個熱力學概念,描述了系統可以做功的能力。
什麼是自由能原理（FEP：free-energy principle）：
FEP 被提議作為理解各種認知功能（包括語言）的統一框架。該原理指出，包括大腦在內的生物系統會盡量減少其自由能，這與感官輸入的不確定性或意外性有關。
語言和 FEP關係：
作者認為自然語言語法的層次結構不僅是語言進化的產物，而且也符合 FEP。這意味著我們構建句子的方式和語言表達的經濟性可以被視為最小化計算複雜性的一種方式。
語言設計中的經濟性：
本文討論了語言設計中“經濟性”的概念，它是指語言結構形成儘可能高效的原則。這種效率與自由能的最小化有關。
柯爾莫哥洛夫複雜性：
作者使用柯爾莫哥洛夫複雜性的概念（指定給定物件所需的計算資源的度量）來估計句法過程的複雜性。他們建議優先考慮儘量減少演算法複雜性的語法操作，這與 FEP 一致。
圖靈-喬姆斯基壓縮（TCC）：
文章介紹了圖靈-喬姆斯基壓縮的原理，這是一種與 FEP 一致的語言設計原理。 TCC 建議儘量減少演算法複雜性的句法推導。
句法移動和最小搜尋：
作者討論了句法移動和最小搜尋（句法理論中的過程）如何用 FEP 來理解，因為它們涉及句法結構的有效計算。
未來研究：本文最後提出了未來研究的方向，包括需要更廣泛的計算模型以及探索與語法相關的 FEP。
重點：Kolmogorov複雜度和Turing-Chomsky壓縮
文章中提到的Kolmogorov複雜度和Turing-Chomsky壓縮（TCC）是用於解釋自然語言語法結構如何與自由能原理（Free-Energy Principle, FEP）相一致的概念工具。以下是這些概念在語言設計中的具體體現：
- Kolmogorov複雜度：這是一種衡量模式或資料複雜性的度量，它是能夠生成給定資料模式的最短程式的長度。在語言設計的背景下，Kolmogorov複雜度被用來估計語法結構的複雜性。文章中提出，自然語言的語法操作傾向於最小化這種複雜度，因為這樣可以減少認知處理的計算負擔。
- Turing-Chomsky壓縮（TCC）：這是一個由文章作者提出的新原則，它結合了艾倫·圖靈（Alan Turing）關於計算的理論（Turing）和諾姆·喬姆斯基（Noam Chomsky）關於語言的生成能力的觀點（Chomsky）。TCC原則認為，在語法工作空間中對可訪問物件執行的操作（如合併或移動）會生成結構，這些結構的Kolmogorov複雜度低於其他選項時，這種操作就被認為是經濟的。換句話說，TCC鼓勵生成那些能夠被高效壓縮的語法結構。
文章中透過幾個例子展示瞭如何使用Lempel-Ziv演算法（一種估計Kolmogorov複雜度的方法）來評估不同的語法結構的複雜性。例如，文章討論了疑問句的形成、關係從句的結構距離，以及多重疑問句的詞序問題。在這些情況下，更經濟的語法結構（即那些能夠生成較低Kolmogorov複雜度的結構）被認為更可取。
透過這種方式，文章試圖將自然語言的語法結構與自由能原理聯絡起來，提出語言的設計和使用遵循最小化認知和計算複雜度的原則。這種方法為理解語言的生物學和認知基礎提供了一個新的視角，並可能對語言習得、語言處理和語言演化的研究產生影響。
“材料中原子的集體行為（例如，晶格）反映了耗散結構的原理。因此，我們周圍的一切都是一個耗散結構，遵循貝葉斯推理，預測編碼和自由能原理。“--米卡·布倫伯格 |