標題：Causality Inspired Representation Learning for Domain Generalization
會議：CVPR
統計學上的相關(stastistical dependence)不一定表示因果關係。CIRL 旨在挖掘內在的因果機制(intrinsic causal mechanism)。
名詞解釋：
- DG(Domain Generalization)域泛化
- SCM(Structural Causal Model)結構化因果模型
因果圖
輸入X由兩部分組成causal part: S, non-causal part: U，只有S能夠因果地影響標籤Y的預測。
從因果角度考慮域泛化問題
Common Cause Principle: 如果 X 和 Y 統計學相關，則存在一個變數S，它因果地影響這兩個變數，並在以S為條件時，X和Y獨立。Independent Causal Mechanisms(ICM) Principle: 每個變數在給定其原因的情況下的條件分佈（即它的機制）並不通知或影響其他機制。
文章用學習因果表示 (causal representation)代替直接重構因果因子(causal factor)，並使得因果表示具有3個性質
- 因果因素S能和非因果因素U分離
- \(s_1, s_2, ... , s_n\)之間是相互獨立，不含有彼此的資訊
- 因果因素S是足夠用來預測Y標籤的
因果啟發的表示學習 (Causality Inspired Representation Learning)
因果表示演算法(CIRL)由3個模組組成
causal intervention module：透過 因果乾預 （生成帶有擾動的新資料）將 causal factor S 從 non-causal factor U 中分離出來causal factorization module：將S分解成一個個獨立的\(s_i\)。令表示的每個維度聯合獨立，用來近似因果因子(to approximate causal factor)adversarial mask module：檢測包含因果資訊較少的維度，迫使它們學習更多的、更新的因果資訊（採用對抗學習 包含掩碼器和表示生成器(masker and representation generator)）。確保因果充分性(causal sufficiency)。
實驗結果
表示重要性 (Representation Importance)
- 利用分類器的第一層的權重來估計每個表示維度的重要性
- 對每個維度上的權重都用（x − min）/（max − min）進行歸一化
結果：MatchDG， CIRL 表示重要性的平均值大、標準差小，具有優越性。
原因：CIRL將能夠真正影響分類的因果資訊嵌入到了表示中
引數敏感性 (Parameter Sensitivity)
CIRL在超引數在較大的取值範圍下都能取得有競爭性的表現，即， 5.0 ≤ τ ≤ 10.0 和 0.5 ≤ κ ≤ 0.6（無論是以ResNet-18 或 ResNet-50為基礎），進一步證明了該方法的穩定性。