Sadaf Saleem| 作者

羅伯特|編輯

神經(jīng)網(wǎng)絡是深度學習算法的基本構建模塊。神經(jīng)網(wǎng)絡是一種機器學習算法，旨在模擬人腦的行為。它由相互連接的節(jié)點組成，也稱為人工神經(jīng)元，這些節(jié)點組織成層次結構。

神經(jīng)網(wǎng)絡與機器學習有何不同？

神經(jīng)網(wǎng)絡是一種機器學習算法，但它們與傳統(tǒng)機器學習在幾個關鍵方面有所不同。最重要的是，神經(jīng)網(wǎng)絡可以自行學習和改進，無需人的干預。它可以直接從數(shù)據(jù)中學習特征，因此更適合處理大型數(shù)據(jù)集。然而，在傳統(tǒng)機器學習中，特征需要手動提供。

為什么使用深度學習？

深度學習的一個關鍵優(yōu)勢是其處理大數(shù)據(jù)的能力。隨著數(shù)據(jù)量的增加，傳統(tǒng)機器學習技術在性能和準確性方面可能變得低效。而深度學習則能夠持續(xù)表現(xiàn)出色，因此是處理數(shù)據(jù)密集型應用的理想選擇。

有人會問，為什么我們要費心研究深度學習的結構，而不是簡單地依賴計算機為我們生成輸出結果，這是一個合理的問題。然而，深入了解深度學習的底層結構可以帶來更好的結果，這其中有很多令人信服的理由。

研究深度學習結構的好處是什么？

通過分析神經(jīng)網(wǎng)絡的結構，我們可以找到優(yōu)化性能的方法。例如，我們可以調整層數(shù)或節(jié)點的數(shù)量，或者調整網(wǎng)絡處理輸入數(shù)據(jù)的方式。我們還可以開發(fā)更適合分析醫(yī)學圖像或預測股市的神經(jīng)網(wǎng)絡。如果我們知道網(wǎng)絡中的哪些節(jié)點對于特定輸入被激活，我們可以更好地理解網(wǎng)絡是如何做出決策或預測的。

神經(jīng)網(wǎng)絡如何工作？

每個神經(jīng)元代表一個計算單元，接收一組輸入，執(zhí)行一系列計算，并產生一個輸出，該輸出傳遞給下一層。

就像我們大腦中的神經(jīng)元一樣，神經(jīng)網(wǎng)絡中的每個節(jié)點都接收輸入，處理它，并將輸出傳遞給下一個節(jié)點。隨著數(shù)據(jù)在網(wǎng)絡中傳遞，節(jié)點之間的連接會根據(jù)數(shù)據(jù)中的模式而加強或減弱。這使得網(wǎng)絡可以從數(shù)據(jù)中學習，并根據(jù)其學到的知識進行預測或決策。

想象一個28x28的網(wǎng)格，其中某些像素比其他像素更暗。通過識別較亮的像素，我們可以解讀出在網(wǎng)格上寫的數(shù)字。這個網(wǎng)格作為神經(jīng)網(wǎng)絡的輸入。

網(wǎng)格的行排列成水平的一維數(shù)組，然后轉化為垂直數(shù)組，形成第一層神經(jīng)元，就像這樣；

在第一層的情況下，每個神經(jīng)元對應于輸入圖像中的一個像素，每個神經(jīng)元內的值代表該像素的激活或強度。神經(jīng)網(wǎng)絡的輸入層負責接收原始數(shù)據(jù)（在本例中是圖像）并將其轉化為可以被網(wǎng)絡其余部分處理的格式。

在這種情況下，我們有28x28個輸入像素，這給了我們784個輸入層的神經(jīng)元。每個神經(jīng)元的激活值要么是0，要么是1，這取決于輸入圖像中相應的像素是黑色還是白色。

神經(jīng)網(wǎng)絡的輸出層在這種情況下包括10個神經(jīng)元，每個代表一個可能的輸出類別（在本例中是數(shù)字0到9）。輸出層中每個神經(jīng)元的輸出代表輸入圖像屬于該特定類別的概率。最高概率值確定了對于該輸入圖像的預測類別。

隱藏層

在輸入層和輸出層之間，我們有一個或多個隱藏層，對輸入數(shù)據(jù)執(zhí)行一系列非線性變換。這些隱藏層的目的是從輸入數(shù)據(jù)中提取對當前任務更有意義的高級特征。您可以決定在網(wǎng)絡中添加多少隱藏層。

隱藏層中的每個神經(jīng)元都從前一層的所有神經(jīng)元接收輸入，并在將結果通過非線性激活函數(shù)之前，對這些輸入應用一組權重和偏差。這個過程在隱藏層的所有神經(jīng)元上重復，直到達到輸出層。

前向傳播

前向傳播是將輸入數(shù)據(jù)通過神經(jīng)網(wǎng)絡生成輸出的過程。它涉及計算網(wǎng)絡每一層中每個神經(jīng)元的輸出，通過將權重和偏差應用于輸入并通過激活函數(shù)傳遞結果來完成。

數(shù)學公式：或 其中， 是神經(jīng)網(wǎng)絡的輸出， 是非線性激活函數(shù)，是第 個輸入特征或輸入變量， 是與第個輸入特征或變量相關聯(lián)的權重， 是偏差項，它是一個常數(shù)值，加到輸入的線性組合上。 ：這是輸入特征和它們相關權重的線性組合。有時這個術語也被稱為輸入的“加權和”。

反向傳播

反向傳播是訓練神經(jīng)網(wǎng)絡中常用的算法。它涉及計算梯度，即損失函數(shù)相對于網(wǎng)絡中每個權重的變化的度量。損失函數(shù)衡量了神經(jīng)網(wǎng)絡在給定輸入下能夠正確預測輸出的能力。通過計算損失函數(shù)的梯度，反向傳播允許神經(jīng)網(wǎng)絡以減小訓練過程中的整體誤差或損失的方式更新其權重。

該算法通過將來自輸出層的誤差沿著網(wǎng)絡的層傳播回去，使用微積分的鏈式法則計算損失函數(shù)相對于每個權重的梯度。然后，這個梯度用于梯度下降優(yōu)化，以更新權重并最小化損失函數(shù)。

神經(jīng)網(wǎng)絡中使用的術語

神經(jīng)網(wǎng)絡的訓練是根據(jù)輸入數(shù)據(jù)和期望輸出來調整神經(jīng)網(wǎng)絡權重的過程，以提高網(wǎng)絡預測的準確性。權重：權重是在訓練過程中學到的參數(shù)，它們決定了神經(jīng)元之間連接的強度。每個神經(jīng)元之間的連接被分配一個權重，該權重與輸入值相乘，以確定其輸出。

偏差（Bias）：偏差是另一個在給定層中神經(jīng)元的加權和上添加的學習參數(shù)。它是神經(jīng)元的附加輸入，有助于調整激活函數(shù)的輸出。

非線性激活函數(shù)（Non-linear activation function）：非線性激活函數(shù)應用于神經(jīng)元的輸出，引入了網(wǎng)絡中的非線性。非線性很重要，因為它允許網(wǎng)絡建模輸入和輸出之間的復雜、非線性關系。在神經(jīng)網(wǎng)絡中常用的激活函數(shù)包括 Sigmoid 函數(shù)、ReLU（修正線性單元）函數(shù)和 softmax 函數(shù)。損失函數(shù)（Loss function）：這是一個數(shù)學函數(shù)，用于衡量神經(jīng)網(wǎng)絡的預測輸出與真實輸出之間的誤差或差異。經(jīng)驗損失度量了整個數(shù)據(jù)集上的總損失。交叉熵損失常用于輸出概率在0和1之間的模型，而均方誤差損失用于輸出連續(xù)實數(shù)的回歸模型。目標是在訓練過程中最小化損失函數(shù)，以提高網(wǎng)絡預測的準確性。損失優(yōu)化（Loss optimization）：這是在神經(jīng)網(wǎng)絡進行預測時，最小化神經(jīng)網(wǎng)絡所產生的誤差或損失的過程。這是通過調整網(wǎng)絡的權重來完成的。

梯度下降（Gradient descent）：這是一種用于尋找函數(shù)最小值的優(yōu)化算法，例如神經(jīng)網(wǎng)絡的損失函數(shù)。它涉及迭代地調整權重，沿著損失函數(shù)的負梯度方向。其思想是不斷將權重朝著減小損失的方向移動，直到達到最小值。

讓我們通過實際例子記住這些術語：

1. 想象一家公司希望通過銷售產品來最大化利潤。他們可能有一個基于各種因素如價格、營銷支出等來預測利潤的模型。偏差可能指的是影響產品利潤但與價格或營銷支出無直接關系的任何固定因素。例如，如果產品是季節(jié)性物品，可能在一年中的某些時段存在對更高利潤的偏差。實際利潤與預測利潤之間的差異就是損失函數(shù)。梯度下降涉及計算損失函數(shù)相對于每個輸入特征的梯度，并使用這個梯度迭代地調整特征值，直到找到最佳值的過程，而涉及找到最小化損失函數(shù)的輸入特征的最佳值的過程就是損失優(yōu)化。利潤預測模型可能會使用非線性激活函數(shù)將輸入特征（例如價格、營銷支出）轉化為預測的利潤值。這個函數(shù)可以用來引入輸入特征和輸出利潤之間的非線性關系。2. 想象你正在玩一個視頻游戲，你是一個角色試圖到達一個目的地，但你只能在二維平面上移動（前后和左右）。你知道目的地的確切坐標，但不知道如何到達那里。你的目標是找到到達目的地的最短路徑。在這種情況下，損失函數(shù)可以是你當前位置與目的地之間的距離。損失函數(shù)的梯度將是通往目的地最陡坡度的方向和大小，你可以使用它來調整你的移動，靠近目的地。隨著你靠近目的地，損失函數(shù)減小（因為你離目標更近了），梯度也相應改變。通過反復使用梯度來調整你的移動，最終你可以以最短路徑到達目的地。希望你在了解神經(jīng)網(wǎng)絡方面有了更深入的了解。為了更好地理解這一概念，請參考文章中提到的視頻。