【導(dǎo)語】模型的可解釋性是大多數(shù)機器學習系統(tǒng)都需要的一種能力，即能向用戶解釋模型能做出這些預(yù)測的原因。在本篇文章中，作者將與大家探討一些可用于解釋機器學習模型的不同技術(shù)，并且重點介紹兩種提供全局和局部解釋、且與模型本身無關(guān)可解釋性技術(shù)。這些技術(shù)可以應(yīng)用于任何機器學習算法，并通過分析機器學習模型的響應(yīng)函數(shù)來實現(xiàn)可解釋性。

前言

在選擇一個合適的機器學習模型時，通常需要我們權(quán)衡模型準確性與可解釋性之間的關(guān)系：

黑盒模型 (black-box)：諸如神經(jīng)網(wǎng)絡(luò)、梯度增強模型或復(fù)雜的集成模型此類的黑盒模型 (black-box model) 通常具有很高的準確性。然而，這些模型的內(nèi)部工作機制卻難以理解，也無法估計每個特征對模型預(yù)測結(jié)果的重要性，更不能理解不同特征之間的相互作用關(guān)系。

白盒模型(white-box)：另一方面，像線性回歸和決策樹之類的簡單模型的預(yù)測能力通常是有限的，且無法對數(shù)據(jù)集內(nèi)在的復(fù)雜性進行建模 (如特征交互)。然而，這類簡單模型通常有更好的可解釋性，內(nèi)部的工作原理也更容易解釋。

模型準確性與可解釋性關(guān)系之間的權(quán)衡取決于一個重要的假設(shè)：“可解釋性是模型的一個固有屬性”。通過正確的可解釋性技術(shù)，任何機器學習模型內(nèi)部工作機理都能夠得以解釋，盡管這需要付出一些復(fù)雜性和計算成本的代價。

模型屬性

機器學習模型的可解釋程度通常與響應(yīng)函數(shù) (response function) 的兩個屬性相關(guān)。模型的響應(yīng)函數(shù) f(x) 定義模型的輸入 (特征x) 和輸出 (目標函數(shù) f(x)) 之間的輸入-輸出對關(guān)系，而這主要取決于機器學習模型，該函數(shù)具有以下特征：

線性：在線性響應(yīng)函數(shù)中，特征與目標之間呈線性關(guān)系。如果一個特征線性變化，那么期望中目標將以相似的速率線性變化。

單調(diào)性：在單調(diào)響應(yīng)函數(shù)中，特征與目標對于之間的關(guān)系始終在一個方向上變化 (增大或減小)。更重要的是，這種關(guān)系適用于整個特征域，且與其他的特征變量無關(guān)。

單調(diào)線性響應(yīng)函數(shù)實例 (其中輸入變量為 x，響應(yīng)變量為 y)

線性回歸模型的響應(yīng)函數(shù)就是個線性單調(diào)函數(shù)，而隨機森林和神經(jīng)網(wǎng)絡(luò)的響應(yīng)函數(shù)則是高度非線性、非單調(diào)響應(yīng)函數(shù)的例子。

下圖則闡述了在需要清晰簡單的模型可解釋性時，通常首選白盒模型 (具有線性和單調(diào)函數(shù)) 的原因。圖的上半部顯示，隨著年齡的增長，購買數(shù)量會增加，模型的響應(yīng)函數(shù)在全局范圍內(nèi)具有線性和單調(diào)關(guān)系，易于解釋模型。

然而，由于白盒模型響應(yīng)函數(shù)的線性和單調(diào)約束，通常容易忽略其變化趨勢的重要部分。通過探索更復(fù)雜的機器學習模型能夠更好地擬合觀測數(shù)據(jù)，而這些復(fù)雜模型的響應(yīng)函數(shù)只是在局部呈單調(diào)線性變化。因此，為了解釋模型的行為，研究模型局部變化情況是很有必要的。

模型可解釋性的范圍，如全局或局部層面，都與模型的復(fù)雜性緊密相關(guān)。線性模型在整個特征空間中將表現(xiàn)出相同的行為 (如上圖所示)，因此它們具有全局可解釋性。而輸入和輸出之間的關(guān)系通常受到復(fù)雜性和局部解釋的限制 (如為什么模型在某個數(shù)據(jù)點進行某種預(yù)測?)，將其默認為全局性解釋。

對于那些更復(fù)雜的模型，模型的全局行為就更難定義了，而且還需要對其響應(yīng)函數(shù)的小區(qū)域進行局部解釋。這些小區(qū)域可能表現(xiàn)出線性和單調(diào)，以便得到更準確的解釋。

ML 庫 (例如 sklearn) 允許對不同分類器進行快速比較。當數(shù)據(jù)集的大小和維度受限時，我們還可以解釋模型的預(yù)測結(jié)果。但在大多數(shù)現(xiàn)實問題中，情況就不再是如此。

接下來將為大家重點介紹兩種提供全局和局部解釋、且與模型本身無關(guān)可解釋性技術(shù)。這些技術(shù)可以應(yīng)用于任何機器學習算法，并通過分析機器學習模型的響應(yīng)函數(shù)來實現(xiàn)可解釋性。

可解釋性技術(shù)

1、代理模型 (Surrogate models)

代理模型通常是一種簡單模型，用于解釋那些復(fù)雜模型。常用的代理模型有線性模型和決策樹模型，主要是由于這些模型易于解釋。構(gòu)建代理模型，將其用于表示復(fù)雜模型 (響應(yīng)函數(shù)) 的決策過程，并作用于輸入和模型預(yù)測，而不是在輸入和目標上訓(xùn)練。

代理模型在非線性和非單調(diào)模型之上提供了一個全局可解釋層，但它們不完全相互依賴。它的作用只要是作為模型的“全局總結(jié)”，并不能完美地表示模型底層的響應(yīng)函數(shù)，也不能捕獲復(fù)雜的特征關(guān)系。以下步驟說明了如何為復(fù)雜的黑盒模型構(gòu)建代理模型：

訓(xùn)練一個黑盒模型。

在數(shù)據(jù)集上評估黑盒模型。

選擇一個可解釋的代理模型 (通常是線性模型或決策樹模型)。

在數(shù)據(jù)集上訓(xùn)練這個可解釋性模型，并預(yù)測。

確定代理模型的錯誤度量，并解釋該模型。

2、LIME

LIME 是另一種可解釋性技術(shù)，它的核心思想與代理模型相同。然而，LIME 并不是通過構(gòu)建整個數(shù)據(jù)集的全局代理模型，而只是構(gòu)建部分區(qū)域預(yù)測解釋的局部代理模型 (線性模型)，來解釋模型的行為。有關(guān) LIME 技術(shù)的深入解釋，可以參閱 LIME 有關(guān)的文章

文章鏈接：

https://towardsdatascience.com/understanding-model-predictions-with-lime-a582fdff3a3b

此外，LIME 方法能夠提供一種直觀的方法來解釋給定數(shù)據(jù)的模型預(yù)測結(jié)果。有關(guān)如何為復(fù)雜的黑盒模型構(gòu)建 LIME 解釋模型的步驟如下：

訓(xùn)練一個黑盒模型。

采樣局部感興趣區(qū)域的樣本點，這些樣本點可以從數(shù)據(jù)集中直接檢索，也可以人工生成。

通過鄰近的感興趣區(qū)域?qū)π聵颖具M行加權(quán)，通過在數(shù)據(jù)集上使用變量來擬合得到一個加權(quán)的、可解釋的代理模型。

解釋這個局部代理模型。

結(jié)論

總的來說，你可以通過幾種不同的技術(shù)來提高機器學習模型的可解釋性。盡管，隨著相關(guān)領(lǐng)域研究的改進，這些技術(shù)也將變得越來越強大，但使用不同技術(shù)并進行比較仍然是很重要的。