近年來，許多人工智慧(AI)和機器人領域的研究人員一直努力開發能夠解釋人工智慧的預測或機器人行為的系統。他們工作背後的想法是，隨著人工智慧系統的普及，解釋它們為什麼會以特定的方式行動或為什麼會做出某些預測可以提高透明度，從而提高使用者對它們的信任。最近，雷恩布列塔尼大西洋研究中心和圖盧茲法國國家科學研究中心的研究人員進行了一項研究，對這一假設提出了質疑並進行了探索，希望能更好地理解人工智慧的可解釋性實際上如何影響使用者對人工智慧的信任。他們發表在《自然機器智慧》(Nature Machine Intelligence)上的論文認為，人工智慧系統的解釋可能並不像一些使用者認為的那樣真實或透明。“這篇論文源於我們想要探索直觀差距的願望，”進行這項研究的兩名研究人員Erwan Le Merrer和Gilles Tredan告訴TechXplore。“（這種差距在於）作為彼此有互動的人，我們總是習慣於不相信提供的解釋。但作為電腦科學家，我們不斷聽到可解釋性是公眾接受人工智慧的首要條件。”雖然我們認識到人工智慧在某些情況下的好處(例如，人工智慧設計師在“白盒”上操作)，但我們想從使用者(即：“黑盒”)的角度來說明它的侷限性。”許多研究人員最近提出，機器學習演算法和其他人工智慧工具應該能夠解釋其決策背後的基本原理，就像人類一樣。另一方面, Le Merrer and Trédan認為雖然AI的解釋可能在本地環境中有價值,例如開發人員正在努力除錯系統以提供有用的反饋,但在遠端環境下，它們可能具有欺騙性，因為人工智慧系統由特定的服務供應商訓練和管理，所以它的決策是透過第三方傳遞給使用者的。Le Merrer和Tredan解釋說:“對於採用基於人工智慧演算法的決策而言，使用者對其所面臨決策的理解是一個核心的社會問題。”“我們揭示了來自供應商的邏輯解釋總是容易受到攻擊(即，謊言)，這對於一個孤立的使用者來說是很難或不可能檢測到的。我們的結果表明，特徵空間和可能攻擊的空間是非常大的，所以即使使用者聯合起來發現問題，這些謊言仍然很難被發現。”為了更好地解釋他們的想法背後的原因，Le Merrer和Tredan用夜總會外面的保鏢做了一個類比，這些保鏢在向個別顧客解釋他們為什麼被拒之門外時可能會撒謊。類似地，研究人員認為，遠端服務供應商可能在人工智慧預測或行為背後的原因上對使用者撒謊，例如，利用區別特徵。在他們的論文中，他們將兩者間的這種類似稱為“保鏢（bouncer）問題”。Le Merrer和Trédan說，“我們的工作質疑了一個人們普遍相信的觀點：解釋會增強使用者對AI系統的信任。”“我們寧可得出相反的結論：從使用者的角度出發且在沒有既存信任時，解釋很容易成為謊言，並且因此可以透過任何方式解釋任何事情。我們認為應該使用其他方法（例如，內部白盒演算法稽核，加密方法等）來尋求使用者的信任。”Le Merrer和Trédan在他們的論文中提供了一些例項以展示“保鏢問題”是如何影響遠端情境中AI行為的可解釋性。在未來的研究中，他們的工作也許會激發進一步關於探索開發機器學習演算法或機器人的好處和侷限性的研究，這些好處和侷限性可以解釋其行為背後的原因，同時也可能促進替代方案的開發，以提高人們對AI的信任。Le Merrer和Trédan說，“我們計劃繼續從使用者角度（即“黑匣子”）研究人工智慧系統，特別是探討這個問題：普通使用者可以發現/學習/理解/推斷哪些AI系統正在成為他們生活中日益增長的一部分嗎？”“例如，我們目前正在研究那些聲稱沒有使用此方法的平臺上的使用者陰影禁止（即阻止或部分排斥使用者無法訪問線上社群）現象。”相關連結：
Erwan Le Merrer et al. Remote explainability faces the bouncer problem, Nature Machine Intelligence (2020). DOI: 10.1038/s42256-020-0216-z
期刊資訊：Nature Machine IntelligenceDo explanations for data-based predictions actually increase users' trust in AI?https://techxplore.com/news/2020-10-explanations-data-based-users-ai.html王可汗，清華大學機械工程系直博生在讀。曾經有著物理專業的知識背景，研究生期間對資料科學產生濃厚興趣，對機器學習AI充滿好奇。期待著在科研道路上，人工智慧與機械工程、計算物理碰撞出別樣的火花。希望結交朋友分享更多資料科學的故事，用資料科學的思維看待世界。