本文經(jīng)AI新媒體量子位（ID：QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處

蕭簫 發(fā)自 凹非寺

神經(jīng)網(wǎng)絡(luò)就像“煉丹爐”一樣，投喂大量數(shù)據(jù)，或許能獲得神奇的效果。

“煉丹”成功后，神經(jīng)網(wǎng)絡(luò)也能對沒見過的數(shù)據(jù)進行預(yù)測了~

然而，這種情況下，神經(jīng)網(wǎng)絡(luò)其實成了“黑匣子”——具有一定的功能，但看不見是怎么起作用的。

如果只做簡單的圖像分類，其實還好；但如果用在醫(yī)學(xué)方向，對疾病進行預(yù)測，那么神經(jīng)網(wǎng)絡(luò)下的“判斷”就不可輕信。

如果能了解它是怎么工作的，就更好了。

出于這種考慮，來自牛津大學(xué)的博士生Oana-Maria Camburu撰寫了畢業(yè)論文《解釋神經(jīng)網(wǎng)絡(luò)（Explaining Deep Neural Networks）》。

在這篇論文中，她將這些“黑匣子”一個個打開，對神經(jīng)網(wǎng)絡(luò)原理進行了詳細的解釋。

為什么要打開神經(jīng)網(wǎng)絡(luò)“黑匣子”？

事實上，神經(jīng)網(wǎng)絡(luò)之所以起作用，最直觀的原因就是，它由大量非線性函數(shù)組成。

這些非線性函數(shù)，使得網(wǎng)絡(luò)可以學(xué)習(xí)原始數(shù)據(jù)中各種抽象級特征。

然而，也正是因為神經(jīng)網(wǎng)絡(luò)中的這些非線性函數(shù)，使得人類往往難以理解，它們是如何起作用的。

這就導(dǎo)致神經(jīng)網(wǎng)絡(luò)在疾病預(yù)測、信用額度、刑法等方向上“不太受歡迎”。

醫(yī)生和法律相關(guān)的研究者往往更樂意采用可解釋模型，例如線性回歸、決策樹，因為神經(jīng)網(wǎng)絡(luò)在疾病預(yù)測中的確出過問題：

人們利用神經(jīng)網(wǎng)絡(luò)預(yù)測肺炎患者的病情發(fā)展，其中一項患者特征為是否有哮喘病史。

神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練后預(yù)測，有哮喘病史的患者死于肺炎的可能性較低。

但其實結(jié)果恰好相反，哮喘本身會給肺炎帶來雪上加霜的效果。

之所以數(shù)據(jù)表明哮喘患者較少死于肺炎，往往是因為哮喘能被及早發(fā)現(xiàn)，所以患者得肺炎后能被及早治療。

如果這種神經(jīng)網(wǎng)絡(luò)被應(yīng)用于實踐中，將會帶來非常危險的結(jié)果。

此外，即使是神經(jīng)網(wǎng)絡(luò)，也會對男女性別產(chǎn)生刻板印象、產(chǎn)生種族偏見。

例如，調(diào)查表明，有些語料庫和模型，在預(yù)測再犯時，會更“偏愛”男性。

除了錯誤的預(yù)測和種族、性別歧視以外，神經(jīng)網(wǎng)絡(luò)還很脆弱。

無論是對圖像進行小改動欺騙分類算法、還是用語音識別瞞過NLP模型，神經(jīng)網(wǎng)絡(luò)被“爆雷”的情況也不少。

為了讓神經(jīng)網(wǎng)絡(luò)應(yīng)用于更多的方向，也為了讓我們更好地學(xué)習(xí)它的原理，作者從兩個方向?qū)ι窠?jīng)網(wǎng)絡(luò)進行了解釋。

2種方法解釋神經(jīng)網(wǎng)絡(luò)

“事后再解釋”

第一種方法，稱之為基于特征的解釋方法，又叫“事后再解釋”——因為這種方法，是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練好后，才對其輸入特征進行解釋的。

這種方法針對文本的詞（token）、或是針對圖像的超像素（super pixels），進行“事后”解釋。

目前這種方法應(yīng)用較為普遍，不容易出現(xiàn)解釋偏見，但需要驗證解釋方法的真實性。

這里的根本原理，是研究外部解釋方法給出的解釋、與模型本身生成的自然語言解釋之間，是否存在相關(guān)性，而相關(guān)性具體又是什么。

在論文中，作者引入了一種新的驗證方法，來判斷解釋方法的真實性。

讓神經(jīng)網(wǎng)絡(luò)自己解釋

那么，如果能讓神經(jīng)網(wǎng)絡(luò)一邊訓(xùn)練、一邊“解釋自己”呢？

這是論文提到的第二種方法，即在模型中植入一個生成預(yù)測解釋的模塊，對預(yù)測的結(jié)果進行解釋。

至于神經(jīng)網(wǎng)絡(luò)對自己的解釋是否正確，還需要人為進行判斷。

在這里面，作者同樣引入了一種判斷方法，對模型自己生成的解釋進行判斷，從而得出神經(jīng)網(wǎng)絡(luò)解釋的結(jié)果。

對神經(jīng)網(wǎng)絡(luò)詳細結(jié)構(gòu)、具體解釋方法感興趣的小伙伴，可以戳下方論文地址查看~

作者介紹

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學(xué)的博士生，主修機器學(xué)習(xí)、人工智能等方向。

高中時期，Oana-Maria Camburu曾獲IMO（國際奧數(shù)競賽）銀牌。她曾經(jīng)在馬普所、谷歌實習(xí)，讀博期間，論文被ACL、EMNLP、IJCNLP等頂會收錄。

原文標(biāo)題：神經(jīng)網(wǎng)絡(luò)“煉丹爐”內(nèi)部構(gòu)造長啥樣？牛津大學(xué)博士小姐姐用論文解讀

文章出處：【微信公眾號：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq