動機

與其他機器學習技術相比，深度學習的主要優(yōu)勢在于它能夠自動學習輸入數(shù)據(jù)的抽象表示。 但是，并非總是如此。 早在1969年，Minsky和Papert出版了一本書，該書（除其他事項外）證明了單層感知器（人工神經網絡的祖先）無法解決XOR問題。 對于我們這些沒有計算機科學背景的人，XOR問題的任務是接受兩個二進制輸入A和B，并且僅當A或B中只有一個為真時才返回true，因此名稱為“ 異或”或XOR。 單層感知器無法解決此問題的原因是它們只能解析線性可分離的類。 如果要為XOR問題及其輸出繪制可能的輸入，則該空間應如下所示：

The world’s worst game of tic-tac-toe (source: wikimedia commons)

現(xiàn)在，您可以在此圖像上繪制一條直線并將圓與十字分開嗎？ 劇透：您不能，感知器也不能。 幸運的是，勇敢的先驅者擁有將兩個感知器結合在一起的見識，并且深度學習領域誕生了（或多或少）。 之所以可行，是因為神經網絡的每一層都可以看作是前一層的嵌入。 盡管上圖中的圓圈和十字可能無法以其原始形式線性分離，但可以通過簡單的編碼進行線性分離。 拍攝圖像的左上角和右下角，并將它們保持在您的腦海中。 然后，借助您的想象力，將圖像對折至第三維的一半，將右上角拖出屏幕，然后將其向下壓回到左下角。 如果操作正確，它將看起來像這樣：

If you look closely, you may notice I’m not an artist

現(xiàn)在，您可以在此圖像上繪制一條直線并將圓與十字分開嗎？ 我衷心希望如此。 這種獲取信息并將其編碼為其他更有用形式的動作是神經網絡擅長的主要任務。 實際上，訓練神經網絡不是為了具有預測能力，而是為了發(fā)現(xiàn)它們所獲得的學習表現(xiàn)，已經成為深度學習研究的主要內容。

學會看

卷積神經網絡（CNN）是將深度學習應用于圖像數(shù)據(jù)的最受歡迎的體系結構。 簡而言之，CNN可以學習許多過濾器，它們適用于圖像的每個像素及其層。 通過將這些過濾器應用于圖像以及重復進行下采樣，神經網絡將學會在其第一層中識別簡單的低層特征，并在其最后一層中識別復雜的高層特征。 至少，這就是通常的解釋方式。

Image Source: Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations, by Lee et al.

如您所見，模型學會了識別各種邊緣，然后識別出面部特征，然后識別出整個面部（去除了許多中間層）。 如果您使用Google“卷積神經網絡層可視化”，則會發(fā)現(xiàn)大量上述圖片。 但是，我從未在訓練過程中看到CNN圖層的可視化，所以我想我會看到它們的外觀。 在此探索中，我使用了常見的MNIST數(shù)據(jù)集，即一組60,000個黑白手繪數(shù)字，每個數(shù)字的高度和寬度為28像素。 我使用了一個簡單的卷積模型，如下所示：

The network architecture, including 6 convolutional layers and 3 dense layers

可視化

對神經網絡進行了五個時期的訓練，最小批量為1024個圖像，總共290個訓練步驟。 在每個步驟之后，將一組預先選擇的十個樣本圖像（每個數(shù)字之一）輸入模型，并保存每個卷積層的激活。 盡管tanh近年來它不再流行，而是支持更易于訓練的，但我還是決定將tanh用作卷積層中的激活函數(shù)。 這是因為tanh限制在-1和1之間，使其易于可視化。 將第一層的激活應用于紅藍色色圖時，結果如下：

Conv1: The input images (top row) and the activations of the four channels in convolutional layer 1. Activations range from +1 (blue) to 0 (white) to -1 (red). Frame (top left) is the number of training steps applied.

Conv1似乎已學會識別第一和第二通道的筆劃寬度，因為每個數(shù)字的內部為深紅色，而外部為淺紅色。在第三和第四通道中，似乎已經學會了邊緣的概念，其中數(shù)字為藍色，背景為粉紅色，數(shù)字邊緣為白色。然而，這些激活是深度學習規(guī)范所建議的一個長遠目標，那就是每個通道都將學習一個清晰而獨特的功能，例如垂直和水平邊緣。 Conv1在很大程度上復制帶有少量注釋的原始輸入。

Conv2: The same setup as Conv1.

與Conv1相似，Conv2也似乎正在再現(xiàn)原始輸入。 通道1、2和4彼此幾乎相同，并且與Conv1中看到的邊緣突出顯示行為幾乎相同，通道3只是輸入的模糊再現(xiàn)。

Conv3: The same setup as Conv1, except with eight channels instead of four. This layer has half the resolution as the original image, so activations were upscaled without interpolation for visualization.

在Conv3中，我們看到了可能是第一個真正了解的功能。在第六個通道中，在訓練即將結束時，我們看到數(shù)字是藍色的，大多數(shù)背景是粉紅色的，而數(shù)字每個部分正下方的背景是紅色。這表明該通道已學會識別水平邊緣的底部。同樣，第七個通道在每個數(shù)字上方都有紅色數(shù)字，粉紅色背景和白色水平邊緣。但是，其他通道似乎只是原始圖像的簡單復制。

Conv4: The same setup as Conv3.

在Conv4中，我們看到了更清晰定義的功能。 特別是，我們看到了不同角度的邊緣。 第一，第二和第六通道標識水平邊緣的頂部。 第三，第七和第八通道標識對角線邊緣。 其他兩個通道是原始圖像的粗略復制。

Conv5: The same setup as Conv1, except with sixteen channels instead of four. This layer has one-quarter the resolution of the original image, so activations were upscaled without interpolation for visualization.

Conv5進行了大幅下采樣，分辨率僅為7x7像素，但似乎具有有意義的特征提取。 在訓練的最早步驟中，每個通道都是粉紅色的，幾乎沒有任何信息。 到了步驟70，該層已學會產生模糊地類似于輸入的斑點。 但是，在訓練結束時，通道之間已經明顯地區(qū)分開，并且在激活方面顯示出急劇的變化。 由于分辨率低和我們稱之為獨立功能的糾結，目前尚不清楚在這里學到了哪些功能，但是很顯然，這里的每個通道都有一些有用的功能。

Conv6: The gif was too large for Medium, so these are the activations after training has completed.

不幸的是，Conv6文件太大，沒有上傳動圖。與Conv5相似，學習到的功能清晰可見，但是幾乎無法分辨出它們實際對應的含義。

Accuracy and loss (categorical_crossentropy) during training

得到教訓

那么這個故事的寓意是什么？我建議有三個。

首先，深度學習成果很少像教科書所建議的那樣清晰。許多教科書，包括深度學習（Goodfellow等人），都將低級卷積層比作Gabor濾鏡和其他手工制作的計算機視覺濾鏡。盡管該模型在測試數(shù)據(jù)上的準確性達到了95％以上，但是就特征提取而言，前四個卷積層所做的很少。當然，對于一個非常簡單的任務來說，這是一個非常簡單的模型，而且為一個更艱巨的任務而訓練的更復雜的模型可能至少學到了一些有用的低級功能，但是通常采用深度學習的方式進行教學（在我的經驗）表明，即使對于簡單的任務，特征的優(yōu)化和提取也是不可避免的；顯然不是這樣。

第二個教訓是，學習的功能不太可能是人類可能會選擇的直觀，獨立的特質。 Conv5和Conv6清楚地學到了一些東西，并且原始圖像的編碼方式使得網絡的密集層可以按數(shù)字類型對它們進行分類，但是他們學會了檢測的內容并不能立即顯而易見。 這是深度學習中的一個常見問題，尤其是在生成建模中，模型可能會學習將兩個或多個看似無關的特質嵌入為單個功能。

這是第三課，這是我作為數(shù)據(jù)科學家在工作中每天都想起的一課，那就是可視化所有內容。 我參加了這個項目，期望寫一篇非常不同的文章。 我很高興展示從低級邊緣檢測到高級循環(huán)和旋轉的網絡學習和優(yōu)化功能。 取而代之的是，我發(fā)現(xiàn)一個懶散的漫步，直到第11個小時才具有完善的功能。 最值得注意的是，我驚訝地發(fā)現(xiàn)，一旦各層學會了輸入的某種表示形式，它們在訓練過程中幾乎就不會改變。 可視化增強了我對卷積神經網絡訓練的理解。 希望您也從這里學到了一些東西。