模組化、反事實推理、特徵分離，「因果表示學習」的最新研究都在講什麼？

機器之心發表於2020-03-28
特徵

本文精選了幾篇因果表示學習領域的最新文獻，並細緻分析了不同方法的基本架構，希望能幫助感興趣的你對因果學習應用於機器學習的方向和可能一探究竟。


模組化、反事實推理、特徵分離，「因果表示學習」的最新研究都在講什麼？


因果推理（Causal inference）是根據影響發生的條件得出因果關係結論的過程，是研究如何更加科學地識別變數間的因果關係（Causality）。在因果關係中，原因對結果負有部分責任，而結果又部分取決於原因。客觀事物普遍存在著內在的因果聯絡，人們只有弄清事物發展變化的前因後果，才能全面地、本質地認識事物。基幹事物發展的這種規律，在論證觀點時，有時就可以直接從事物本身的因果關係中進行推論，這就叫因果推理法。幾十年來，因果推理一直是統計學、電腦科學、教育學、公共政策和經濟學等許多領域的重要研究課題。

為了解決觀測資料因果推斷中的這些問題，研究人員開發了各種框架，包括潛在結果框架（the potential outcome framework）（潛在結果框架也稱為內曼-魯賓潛在結果或魯賓因果模型（the Rubin Causal Model））和結構因果模型（the structural causal model，SCM）。UCLA 教授 Judea Pearl 在他的著作《Causality: models, reasoning, and inference》[1] 中介紹了 RCM 和 SCM 的等價性，就應用來看，RCM 更加精確，而 SCM 更加直觀。Judea Pearl 是因果關係模型的倡導者之一。

機器之心在 2018 年也有一篇對於他的論文的報導：https://cloud.tencent.com/developer/article/1119926，探討了機器學習的理論侷限性與因果推理的七大特性。來自 University at Buffalo、University of Georgia、Alibaba 和 University of Virginia 的幾位學者在 AAAI 2020 中發表了一篇關於 RCM 因果推理方法的的文章《A Survey on Causal Inference》[2]，是第一篇對 RCM 和機器學習問題的綜述，而關於 SCM 的介紹則主要可以參見 Judea Pearl 的綜述《Causal inference in statistics: An overview》[3]。

而近年來，在以上提及的兩個理論框架的基礎上，機器學習領域的蓬勃發展促進了因果推理領域的發展。採用決策樹、整合方法、深層神經網路等強大的機器學習方法，可以更準確地估計潛在結果。除了對結果估計模型的改進外，機器學習方法也為處理混雜問題提供了一個新的方向。借鑑近年來產生式對抗性神經網路等深度表徵學習方法，通過學習所有協變數的平衡表徵來調整共焦變數，使得在學習表徵的條件下，處理任務獨立於共焦變數。在機器學習中，資料越多越好。然而，在因果推理中，僅僅有更多的資料是不夠的。擁有更多的資料只會有助於獲得更精確的估計，但在因果推理的框架下，如果使用傳統機器學習技巧，不能確保這些因果估計是正確和無偏的。

與傳統的使用因果圖連線隨機變數來完成因果發現和推理假設任務的因果推理不同，近年來，關於因果的表示學習（Causal Representation Learning）問題吸引了越來越多的關注。因果表示學習是指從資料中學習變數，也就意味著，經過大資料學習，基於因果表示學習的機器學習演算法或者能夠超越傳統的符號人工智慧（symbolic AI）。它不要求人工劃分的先驗知識，就能從資料中學到資訊。直接定義與因果模型相關的物件或變數，相當於直接提取真實世界的更詳細的粗粒度模型。儘管經濟學、醫學或心理學中的每一個因果模型所使用的變數都是基本概念的抽象，但是要在存在干預的情況下使用粗粒度變數描述因果模型，仍然是非常困難的。

現有機器學習面臨的另外一個困難是有效的訓練資料。對於每個任務/領域，尤其以醫學為例，只能掌握有限的資料。為了提高模型的效果，就必須想辦法搜尋、彙集、重新使用或者人工編制資料的有效方法。這與目前由人類進行大規模標籤工作的行業實踐形成鮮明對比。因此，因果表示學習對人類和機器智慧都是一項挑戰，但它符合現代機器學習的總體目標，即學習資料的有意義表示，其中有意義表示穩健、可轉移、可解釋或公平。

在這篇文章中，我們選了幾篇關於因果表示學習的最新文獻，其中涉及了基於 SCM 和基於 RCM 的工作。我們主要分析了不同方法的基本架構，目的是對因果學習應用於機器學習的方向和可能一探究竟。

提取模組化結構（Learning modular structures）

因果表示學習的一個方向是提取模組化的結構，即世界的不同元件在一系列環境、任務和設定中存在，那麼對於一個模型來說，使用相應的模組就是利用了有效的因果表示。例如，如果自然光的變化（太陽、雲層等的位置）意味著視覺環境可以在幾個數量級的亮度條件下出現，那麼人類的神經系統中的視覺處理演算法應該採用能夠將這些變化因素化的方法，而不是建立單獨的人臉識別器，比如說，適用於各種照明條件。如果大腦通過增益控制機制來補償光照的變化，那麼這個機制本身就不需要和導致亮度差異的物理機制有任何關係。Goyal 等針對這個方向，嘗試將一組動態模組嵌入到一個遞迴神經網路中，由所謂的注意機制進行協調，這允許學習模組獨立動態執行，同時也會存在相互影響。

相關文章