論文閱讀-Causality Inspired Representation Learning for Domain Generalization

標題：Causality Inspired Representation Learning for Domain Generalization
會議：CVPR

統計學上的相關(stastistical dependence)不一定表示因果關係。CIRL 旨在挖掘內在的因果機制(intrinsic causal mechanism)。

名詞解釋：

• DG(Domain Generalization)域泛化
• SCM(Structural Causal Model)結構化因果模型

因果圖

輸入X由兩部分組成causal part: S, non-causal part: U，只有S能夠因果地影響標籤Y的預測。

從因果角度考慮域泛化問題

1. Common Cause Principle: 如果 X 和 Y 統計學相關，則存在一個變數S，它因果地影響這兩個變數，並在以S為條件時，X和Y獨立。
2. Independent Causal Mechanisms(ICM) Principle: 每個變數在給定其原因的情況下的條件分佈（即它的機制）並不通知或影響其他機制。

文章用學習因果表示 (causal representation)代替直接重構因果因子(causal factor)，並使得因果表示具有3個性質

• 因果因素S能和非因果因素U分離
• \(s_1, s_2, ... , s_n\)之間是相互獨立，不含有彼此的資訊
• 因果因素S是足夠用來預測Y標籤的

因果啟發的表示學習 (Causality Inspired Representation Learning)

因果表示演算法(CIRL)由3個模組組成

1. causal intervention module：透過 因果乾預 （生成帶有擾動的新資料）將 causal factor S 從 non-causal factor U 中分離出來
2. causal factorization module：將S分解成一個個獨立的\(s_i\)。令表示的每個維度聯合獨立，用來近似因果因子(to approximate causal factor)
3. adversarial mask module：檢測包含因果資訊較少的維度，迫使它們學習更多的、更新的因果資訊（採用對抗學習 包含掩碼器和表示生成器(masker and representation generator)）。確保因果充分性(causal sufficiency)。

實驗結果

表示重要性 (Representation Importance)

• 利用分類器的第一層的權重來估計每個表示維度的重要性
• 對每個維度上的權重都用（x − min）/（max − min）進行歸一化

結果：MatchDG， CIRL 表示重要性的平均值大、標準差小，具有優越性。
原因：CIRL將能夠真正影響分類的因果資訊嵌入到了表示中

引數敏感性 (Parameter Sensitivity)

CIRL在超引數在較大的取值範圍下都能取得有競爭性的表現，即， 5.0 ≤ τ ≤ 10.0 和 0.5 ≤ κ ≤ 0.6（無論是以ResNet-18 或 ResNet-50為基礎），進一步證明了該方法的穩定性。