作者：張拳石、陳鷺
近些年，大模型的發展可謂是繁花似錦、烈火烹油。從 2018 年 OpenAI 公司提出了 GPT-1 開始，到 2022 年底的 GPT-3，再到現在國內外大模型的「百模爭鋒」，DeepSeek 異軍突起，各類大模型應用層出不窮。
然而，無論在學術界還是在工業界，目前對大模型應用的評測都是單純在模型輸出層面判斷結果的準確性，而沒有從大模型內在精細決策邏輯的角度來分析模型的可靠性。類比到人類社會，「實現內在精細邏輯對齊」才是實現人與人互信的基礎。
無法在內在邏輯上與人類認知溝通，也恰恰是黑盒智慧模型無法取得信任的本質——在可信問題上的「人」「機」有別，其主要問題並不在哲學、社會學方面，而是一個數學問題：能否嚴格地證明神經網路在單個樣本上輸出背後的千萬種不同變換，都可以在數值上嚴格表示為一個簡單的邏輯圖模型。
但是，因為神經網路的複雜結構與所需要的清晰邏輯解釋是天然衝突的，所以「從數學上嚴格地解釋大模型內在的精細決策邏輯」長期以來被認為是一個不可能完成的問題。好在沉舟側畔千帆過，柳暗花明又一村。我們構建了等效互動理論體系，發表了幾十篇論文，在一定程度上證明併成功實現了對大部分神經網路的符號化解釋。https://zhuanlan.zhihu.com/p/693747946https://mp.weixin.qq.com/s/MEzYIk2Ztll6fr1gyZUQXg一旦有了嚴謹的解釋性理論工具，當我們可以清晰地解構出大模型的內在決策邏輯時，我們驚訝地發現，哪怕大模型在特定任務上展現出再高的準確率，其內在的決策邏輯表徵可謂是一塌糊塗，甚至一半以上都是混亂的、完全與正常推理邏輯不沾邊的。很多應用需求是創造出來的。比如，在新的研究 [3] 中，我們以法律大模型為例，目前幾乎所有的法律大模型應用僅僅關注判案結果的正確性，而忽視了法律推理過程中可能潛在的不公平和倫理風險。然而，當你第一次確切地解構出一個法律大模型所使用的大量複雜、卻又一塌糊塗的決策邏輯時，當你在各種情景中驗證了這些錯誤邏輯的客觀存在及其數值嚴謹性時，很多認知就回不去了，就像見過元素週期表以後，五行煉丹也就回不去了。我們發現，法律大模型經常錯誤地將與案件無關的時間、位置資訊視為法律判決的理由，或者「張冠李戴」地將一個被告的行為引為其他被告的判案依據。 圖 1. 對 SaulLM-7B-Instruct 在案例 1 的解釋讓我們考慮一個輸入案例
，它包含
個輸入變數（這裡可以是案例中的各個短語），我們用集合
表示這些輸入變數的全集。由大模型生成的一個包含
個 tokens 的自然語言序列，
。這樣，大模型輸出結果的置信度得分
可以定義為：其中，
表示在生成第
個 token 之前的前
個tokens 組成的序列。
表示給定輸入句子
和前
個tokens 的條件下生成第
個token的機率。這個邏輯模型中包含「與互動」和「或互動」兩類操作。觸發函式
表示一個「與互動」，當且僅當集合
中全部輸入變數都被包含（沒有被遮擋）在樣本
時，函式
被啟用，並返回 1；否則返回 0。類似地，觸發函式
表示一個「或互動」，當集合
中任一輸入變數被包含（沒有被遮擋）在樣本
時，函式
被啟用，並返回 1；否則返回 0。無限擬合性：我們證明，無論我們如何隨機遮擋
個輸入單元，得到
個不同的遮擋輸入，構造出的與或互動模型總可以精確近似出神經網路在這所有個遮擋狀態下對生成目標的輸出置信度得分。這裡
表示遮擋輸入樣本
中屬於集合
中的輸入單元，僅保留屬於集合
中的輸入單元的遮擋樣本。需要注意的是，與或互動解釋顯示，不同於驚豔的應用效能所展示的對大模型推理能力的想象，大模型的大部分決策邏輯並不是嚴密的、清晰的、層次化的邏輯鏈條，大部分互動概念僅僅表示詞彙之間的統計關聯性。類似於「詞袋」模型，當大模型基於輸入 prompt 生成下一個單詞或 token 時，其所依賴的互動效用大部分並沒有利用輸入上下文之間的邏輯關係，大部分決策依賴於詞彙間最淺表的統計關聯性來「盲猜」目標單詞。比如，在上文案例中，大模型僅僅根據「chased」為生成的判決結果「Assault」給出了 0.3811 的置信度，而單獨一個「with an axe」短語也會為「Assault」判決增加 0.4632 的置信度。固然這些單詞與判決結果有統計意義的強相關性，但是大模型的決策依據並沒有試圖建模這些單詞與犯罪嫌疑人之間的切實關係，並沒有理解哪些犯罪嫌疑人做了什麼事兒，也就導致了大模型可能產生一些看似正確的結果，但是其推理過程中可能潛在巨大的倫理風險。例如，在下面的案例中我們將展示大模型常常將不同犯罪嫌疑人的行為進行張冠李戴，使其他犯罪嫌疑人的行為影響到目標犯罪嫌疑人的判罰。輸入：On the morning of December 22, 2013, the defendants Andy and Bob deceived Charlie and the three of them had an argument. Andy chased Charlie with an axe and bit Charlie, causing Charlie to be slightly injured. Bob hit Charlie with a shovel, injuring Charlie and shovel causing Charlie's death.輸出：Intentional Injury，輸出置信度數值 2.3792 圖 3. 對 BAI-Law-13B 模型和 SaulLM-7B-Instruct 模型在案例 1 上的解釋法律 LLM 很大一部分互動模式錯誤地使用了犯罪嫌疑人的行為來對另一個無關的犯罪嫌疑人做出判決，顯示出大模型存在的一種典型缺陷——張冠李戴。大模型傾向於記憶敏感詞語（如武器）與輸出結果之間的相關性，而不是理解輸入 prompt 中真正的邏輯，例如識別誰做了哪些行為。案例顯示，Andy 咬傷 Charlie，構成傷害罪，隨後 Bob 用鐵鍬擊打 Charlie，導致 Charlie 死亡。案例經由法律專家將與判決相關的實體行為標記為相關詞語，與判決不相關的詞語標記為不相關詞語，以及將不應影響判決的不正確的實體行為標記為禁止詞語。在這起案件中，當法律大模型判決 Andy 行為的後果時，「hit」「with a shovel」「injuring」和「death」等描述 Bob 的行為和後果的詞語應被標記為禁止詞語，與Andy沒有直接關係。在英文法律大模型 SaulLM-7B-Instruct 前 50 個最突出的 AND-OR 互動模式中，有 26 個 AND 互動模式和 24 個 OR 互動模式。如圖 1，可以看出 AND 互動模式
，AND 互動模式
，OR 互動模式 
分別對 Andy 的判決貢獻了顯著的可靠互動效應 = 0.47、= 0.33、= 0.09。然而，大模型也使用了描述 Bob 的行為和後果的禁止詞語得出對 Andy 的判決，例如，AND 互動模式
，
，
等對 Andy 的判決產生不可靠的互動效應 = -1.04、= 0.93、= 0.19。在中文法律大模型 BAI-Law-13B 前 50 個最突出的 AND-OR 互動模式中，有 17 個 AND 互動模式和 33 個 OR 互動模式。如圖 3，可以看出 AND 互動模式 
，AND 互動模式
，OR 互動模式 
分別對 Andy 的判決貢獻了顯著的可靠互動效應 = 0.33、= 0.17、= 0.06。然而，大模型也使用了描述 Bob 的行為和後果的禁止詞語得出對 Andy 的判決，例如，AND 互動模式 
，OR 互動模式
，
等對 Andy 的判決產生不可靠的互動效應 = -0.43、= -0.09、= -0.04。這裡大模型用的不可靠互動比例為 55.5%-58.5%。圖 4.互動概念解釋率先揭示了大模型精細表徵邏輯的隱患。大模型沒有建模「長鏈推理」邏輯，而使用大量「張冠李戴」的區域性資訊來生成判決結果，引起了不容忽視的倫理問圖 4 展示了 BAI-Law-13B 模型在中文案例上的解釋，判案所依據的大部分互動概念都是與目標犯罪嫌疑人無關的張冠李戴的互動概念。[1] Baiyulan Open AI Research Institute. 2023. Baiyulan Open AI. (2023). https://baiyulan.org.cn[2] Pierre Colombo, Telmo Pessoa Pires, Malik Boudiaf, Dominic Culver, Rui Melo, Caio Corro, Andre F. T. Martins, Fabrizio Esposito, Vera Lúcia Raposo, Sofia Morgado, and Michael Desa. SaulLM-7B: A pioneering Large Language Model for Law. arXiv preprint arXiv:2403.03883 (2024)[3] Lu Chen, Yuxuan Huang, Yixing Li, Yaohui Jin, Shuai Zhao, Zilong Zheng, Quanshi Zhang, "Alignment Between the Decision-Making Logic of LLMs and Human Cognition: A Case Study on Legal LLMs" in arXiv:2410.09083, 2024.
