XAI 主要解決以下問題：對於使用者而言某些機器學習模型如同黑盒一般，給它一個輸入，決策出一個結果。比如大部分深度學習的模型，沒人能確切知道它決策的依據以及決策是否可靠。如圖 1 的 output 所示，為一般網路給出的決策，缺乏可解釋性的結果讓使用者感到困惑，嚴重限制了其在現實任務中的廣泛應用。
圖 1 如今的深度學習 [1]
所以為了提高機器學習模型的可解釋性和透明性，使使用者和決策模型之間建立信任關係，近年來學術界進行了廣泛和深入的研究並提出了可解釋的機器學習模型。如圖 2，模型在決策的同時給出相應的解釋，以獲得使用者的信任和理解。
圖 2 可解釋的機器學習 [1]
對於機器學習模型來說，我們常常會提到２個概念：模型準確性（accuracy）和模型複雜度（complexity）。模型的複雜度與準確性相關，又與模型的可解釋性相對立。因此我們希望找到一種模型如圖 3 所示，具有可解釋性的同時儘可能保證模型的準確性和複雜度。