大模型視角下的因果推斷

　　導讀：在數字化建設不斷推進的今天，隨著技術的不斷髮展，從統計學、機器學習、深度學習，再到因果學習以及最新的熱門大模型方向，九章雲極 DataCanvas 始終緊貼最前沿的、最能助力企業和落地實踐的方向，不斷進行著面向決策和麵向智慧的探索。本文將分享大模型時代下的因果推斷。

　　 01 因果推斷與大模型　　

　　近年來，因果推斷成為研究的熱點，在眾多場景都有應用。其在資料分析等領域具有非常強的優勢，強調因果性而非將相關性作為根本出發點，更有助於識別偽相關資訊。

　　在建立模型時，以因果角度為出發點，模型具有更好的泛化和遷移能力，適用眾多業務場景。比如優惠券營銷提升使用者轉化，或者進行企業宏觀指標的因果探索分析，觀測不同指標之間的因果關係，為企業提供運營手段方向的決策幫助。因果效應估計和反事實推斷為決策提供了有力支援。

　　因果推斷的實踐目前主要包括五方面：因果發現、因果量的識別、因果效應估計、反事實推斷和策略學習。其中，因果發現和因果效應估計是當前比較主流且容易落地的應用場景，包括 Uplift 模型也歸屬於因果效應估計的領域。而反事實推斷是業界的難點，在缺乏反事實資料的情況下，對演算法的研發和場景落地的準確性都具有挑戰。　　

　　從去年底開始到今年初，ChatGPT 在智慧能力方面取得了質的飛躍，對於情感分類和文字摘要等任務表現出了驚豔的效果。那麼，是否能將最新的大模型與因果推斷相結合呢？

　　從能力上來分析，隨著引數量和規模的增大，大語言模型湧現出了突出的能力。上圖中列舉了部分大模型湧現能力，可以助力大模型與因果推斷相結合。例如，上下文能力，大模型擁有在非常長的上下文 context 的相容能力，有助於實現多輪對話和構建更多的大型模型能力；角色扮演能力，大模型可以扮演資料分析師的角色，幫助使用者實現因果推斷等任務，甚至可以讓它扮演 SQL 連線終端或共享終端，使用者在裡面輸入一些命令，即可得到非常真實的反饋。大模型帶來了很多想象空間和可行性空間。

　　此外，大模型一個非常重要的能力是工具應用能力，包括理解 API、呼叫 API 以及呼叫搜尋引擎或者生成 SQL 等等，目前這些能力已經成為普遍公認的大模型湧現能力。基於這些能力，可以將大模型的湧現能力與因果推斷相連線。　　

　　在實際專案和產品研發中，進行了探索並總結出了三條線。圖中最上層包括因果發現、因果效應估計和反事實推斷，可以理解成現實中因果推斷的常見任務。最左下角是大語言模型，透過三條線，可以把兩者相連。

　　最左邊一條線是透過因果圖的方式，用大模型對因果圖進行增強識別。利用因果發現演算法與大模型相結合，以獲取更精準的因果圖。

　　第二條線則聚焦於 Agent，利用大模型的智慧基礎及其工具使用能力，配合外部工具，綜合構建一個智慧代理，幫助使用者完成一些因果推斷任務。

　　第三條線是 ABM（agent base modeling）基於代理的建模，透過多個智慧體之間的相互互動形成現實生活中的場景，即形成一個模擬生態，進而輔助策略的研究和探索。

　　 02 大模型助力因果發現

　　首先來看第一種連線方式，大模型助力因果發現。　　

　　因果發現的核心在於透過擬合的方法和實測資料找出資料特徵之間的因果關係。因果發現對於某些業務場景非常適用，比如客戶流失分析，可以透過定性的方式確定客戶流失的原因及核心因素。因果發現演算法在實際應用當中，常常面臨一些挑戰。比如不可觀測變數的資料集，這些變數可能會影響對因果關係的探索，實踐中都是在有限特徵的資料下儘可能地學習真實的因果關係，以此完成因果關係的定性分析。

　　上圖右側給出了一個實際案例。在一個銀行 ABM 系統獲取的資料，形成了銀行企業宏觀月度指標資料。透過融合多種因果發現演算法幫助找到資料特徵之間的因果關係。　　

　　再舉一個例子，假設在一次營銷活動中，業務上希望瞭解哪些特徵會影響客戶的購物行為，例如優惠券等。透過因果發現演算法，可以找到特徵之間的因果關係，並發現客戶是否購買。然而，在實踐中仍然面臨一些問題和挑戰：

　　未觀測因子，限於資料本身，往往需要在有限的特徵下找出因果關係；

　　準確率不夠高，甚至有時會出現不合理的因果關係；

　　經驗不足，當面臨一個新的知識領域時，特別是不瞭解資料和特徵的情況下，會無法理解和判斷因果關係。　　

　　如何將大模型與因果發現的方法相融合呢？目前正在實踐中的方法如上圖所示。從基礎的資料中，透過多種因果發現方法，得到初步的因果圖。基於此，可以依賴於大模型的湧現能力和外部工具，對因果圖進行識別、甄別、解釋和推薦，從而得到更加準確的因果圖。

　　經過專案的實踐和探索，總結了四個重點：因果關係的識別、因果方向的識別、因果關係的解釋和因果關係的推薦，並圍繞大模型的這四點能力構建了因果發現關係增強流程。在這個流程下，大模型被用來驅動各種因果推斷任務，幫助使用者獲得更精準的因果圖。　　

　　對因果圖中的因果關係進行甄別與分類，利用大模型的因果區分能力，區分出錯誤的因果關係、方向相反的因果關係、不確定的關係等，然後使用這些分類結果來進行因果圖的針對性修正。

　　因果方向的識別，可以利用大模型對二元因果關係的方向進行確認，這種方法可以幫助使用者避免找出反向的因果關係。

　　因果關係解讀和推薦適用於那些面對陌生領域，人工識別因果關係非常困難和具有挑戰的情況。在這種情況下，可以採用領域大模型來幫助發現業務的合理性。

　　因果解讀，在實踐中進行建模時，如果有一個目標特徵作為果特徵，可以將此特徵與一級或二級的因果關係提取出來，然後讓大模型給出相應的因果解讀，對於一些剛入行、資料瞭解程度有限和科研程度經驗不足的同學來說，具有非常好的幫助作用。因果關係的推薦，大模型可以基於既有經驗給出影響目標變數的關鍵因果關係推薦建議，可以從因果的視角找到更核心的關鍵因素，進一步強化因果發現演算法的準確性。

　　 03 基於大模型代理的因果推斷

　　接下來介紹基於大模型的代理。　　

　　大模型具備很多能力，可以根據其智慧能力和工具應用能力，結合外部工具，構建一個智慧體代理，來幫助業務使用者解決問題，或者透過指令指導智慧體代理去完成所要做的很多複雜的工作。

　　將因果推斷與智慧體結合，構建了一個因果推斷的智慧代理，可以執行因果推斷方向和領域探索的任務。其具備的能力包括：

　　角色扮演能力，大模型可以扮演因果推斷專家、資料統計分析師、業務分析師等角色，設定好大模型的角色、任務和目標，幫助使用者完成某些職能。

　　記憶能力，依賴大模型本身的記憶能力和上下文能力，可以讓大模型具記憶能力。透過該能力可以實現多輪對話功能，幫助使用者實現上下文的多輪溝通以及問題的解決；也可將歷史的經驗進行記憶，面臨問題的時候，基於這個經驗去更好、更高效地完成相應的因果推斷任務。

　　問題解決能力，大模型具備思考和計劃能力等解決問題的關鍵能力。對於使用者提出的的問題，往往需要經過深思熟慮，最後再給出分析與回答。因此，大模型的思考能力非常重要，包括思考能力、計劃能力、反思能力等。

　　工具應用能力。如果一個模型只能用於本身設計的問答系統中，那麼它的應用能力就被限制了。得益於大模型的工具應用能力，其能力得到了極大的擴充。大模型可以理解 API、生成程式碼、進行搜尋引擎以及進行識別和檢索。這些應用能力極大地提高了模型的實用性和靈活性。

　　Coding 能力，這是現在大模型應用外部工具的主要手段。

　　Action 能力，大模型對於當前任務或會話，為業務使用者提供簡要回答、總結報告或具體操作的反饋。　　

　　舉一個具體例子，在營銷領域中，往往注重分析投入產出比例，即 ROI。可以透過智慧代理詢問資料的情況以及它具有的特徵含義，並獲得相應的建議。其次，可以將 ROI 的計算交給智慧代理，透過自然語言的方式進行外部資料輸入，並進行 ROI 計算。九章雲極開發和驗證了智慧代理反事實推斷的能力，採用 Uplift 模型對未來事件進行預測和統計分析。如果是嘗試面向決策，例如想舉辦一次營銷活動並預算一定的金額，可以請求智慧代理推薦相應的名單，並計算 ROI。未來，智慧推斷的代理將完成各種領域的任務。

　　智慧體代理嵌入因果推斷能力具有非常大的優勢。相比以往企業級的建模流程，需要經歷場景需求、業務部門、建模團隊和資料團隊之間的溝通和加工，智慧體代理以更友好的自然語言交流方式輔助業務人員進行實時的因果推斷分析和決策，具有更好的實時性和業務友好性。因此，智慧體代理的操作更加方便、智慧，有助於提高工作效率。

　　 04 LLM-Powered ABM 助力因果推斷

　　"LLM-Powered ABM"意為透過大語言模型模仿代理(或智慧體代理),是一種具有類似人類行為的可信賴的虛擬實體,能夠模擬人類的行為和決策,以便在虛擬環境中與使用者或其他代理進行互動。這種智慧體代理通常被用於模擬虛擬世界、模擬研究、自動化決策和其他應用中，對於提升使用者體驗、社會觀察研究等有非常大的幫助。

　　LLM-Powered ABM 旨在透過以大模型為基礎的 ABM 去助力因果推斷，ABM 的核心是基於智慧體或代理的模擬環境建模。在過去的建模中，ABM 的建模方式主要依賴於規則和專家業務經驗，但是，現在有了大模型，可以將其作為智慧代理的核心，模擬人類的行為和決策，並構建一個模擬執行的生態。ABM 有三個非常重要的優勢：

　　虛擬助手，即它可以同時包含多個不同的智慧代理，並且智慧代理之間不需要滿足 ID 條件，而是形成一個良好的智慧體環境。多智慧體代理可以用作虛擬助手,幫助使用者解決問題、提供資訊，或執行任務，如聊天機器人、虛擬客服等。

　　推演與決策，可以用於社會科學、心理學、經濟學和其他研究領域，以模擬人類行為，進行實驗和觀察。在 ABM 中，由於有一個完整的環境，使用者可以觀察到整個環境下不同利潤水平和購買理財產品等行為的變化。同時也可以進行相應的干預，向特定客戶單獨傳送優惠券，或給銀行一些指標設定優惠券，並觀察它們在未來的運營和經濟表現中的變化。

　　自動化決策和規劃，在自動化領域，多智慧體代理可以用於自動規劃和決策。例如在公共交通領域中，自動駕駛汽車中的智慧代理，或者供應鏈管理中的協調代理。　　

　　選擇 LLM-Powered ABM 的出發點在於它能夠為因果研究和決策研究提供很多幫助。如上圖，基於大模型代理的 ABM 系統中包括許多不同的智慧體。在智慧體系統中，每個代理角色在不同的時間點會發生不同事件，系統會以自然語言形式產出多角色對話或故事。透過大模型可以對整個模擬環境產生的段落進行資料的提取。

　　資料特性方面，ABM 環境下具有以下 3 個特點：

　　資料完整性，可以獲取更完整的特徵，全部特徵都可以被捕獲並形成資料集，這在未來可以作為因果推斷演算法和決策研究的基礎。

　　儲存因果關係，在基於大模型的 ABM 系統中，不僅可以記錄購買理財產品的行為，還可以儲存當時客戶的決策因子。真實業務中非常追求因果關係，這個關係可以從 ABM 系統中抽取出來。

　　反事實資料，ABM 系統具有模擬實際資料的可干預性，這意味著可以不斷地干預和推演整個環境。

　　基於大模型的 ABM 在模擬性方面有很大的優勢，每個代理可以作為一個智慧體代理來做個性化的經營決策。同時，可干預性也是非常重要的優勢，這意味著可以儘可能地獲取完整的資料，包括因果資料。

　　在專案中進行了實踐和嘗試，不僅能夠獲得決策建立的因果決策因子，還可以對決策因子進行排序。最後，可以獲得反事實資料和時序反事實資料，相對於現有的相關研究，ABM 的資料範圍和視角有很大的優勢。　　

　　相比傳統的資料獲取方法，使用基於大模型的 ABM 時，資料獲取有得天獨厚的優勢。比如受到成本和其他因素的限制，通常只能獲取到真實世界全量資料 Global Data 中的一個非常小的子集。在 ABM 中，可以抽取因果關係，獲取現實中無法觀測到的資料，包括 Global Data 和 Collectable Data 都可以使用。ABM 對於演算法研究和業務推斷都有非常大助力。　　

　　舉個例子，對於因果效應估計應用和進行演算法研究與評估，需要考慮幾個方面，首先是確定用哪些資料來進行訓練，其次利用什麼樣的資料來評估演算法的準確性，最後需要選擇評估指標，以保證演算法的可靠性。

　　現在可以獲取更多的特徵，包括以前無法獲取的客戶喜好特徵和家庭知識特徵，都可以將它們納入模型中，因此可以使用全量特徵進行演算法研究。在完整特徵下進行評估時，可以從中提取更完整的因果關係。在評估階段，我們更注重獲取反事實結果並使用不同的評估方法。除了因果常用的一些序指標(如 AuuC 和 Gini) 和針對迴歸任務的 RLoss，在 ABM 中獲取的資料下，還可以使用更常見的 Rmse 等指標。在 ABM 下，可以將更多特徵納入模型，並在獲得因果關係以及相關優先順序資訊後，使用這個視角去評估得出的因果估計演算法的準確性。

　　基於大模型 ABM 獲取的資料具有廣泛的應用和研究價值，不僅適用於因果推斷領域，也可以在統計分析、機器學習、貝葉斯網路、深度學習等領域中為我們帶來助力。

　　 05 YLearn & Causal Lab

　　最後，分享兩個九章雲極 DataCanvas 在因果方向開源的成果。　　

　　YLearn 因果學習軟體可以幫助使用者完成因果推斷的五個主要任務，包括因果發現、因果量的識別、因果效應估計、反事實推斷和策略學習，其中也支援 Uplift 建模，使用者可以一站式完成因果推斷場景的所有任務。同時 YLearn 提供了非常簡潔的 API，大家可以輕易上手實踐並落地。

　　YLearn因果學習軟體 GitHub 地址：　　

　　Causal Lab，互動式因果分析框架。這個框架以 YLearn 作為基礎，可以幫助使用者完成因果推斷的全流程任務，包括因果發現，貝葉斯網路學習以及因果效應估計。其中非常有用的是，提供了視覺化工具，可以幫助使用者進行因果發現的互動模式。框架融合了多種演算法，並支援動態的學習過程，從而找到更精準的業務關係，以便於構建更精準的貝葉斯網路。使用者還可以對因果關係進行相應的調整和修改。最後，該框架還提供了基於校驗估計的探索。