沃特金斯和她的研究小組發(fā)現(xiàn)，連續(xù)不斷的無監(jiān)督學習之后，網(wǎng)絡仿真變得不穩(wěn)定。當他們將網(wǎng)絡暴露于類似于活腦在睡眠中經(jīng)歷的波動的狀態(tài)時，穩(wěn)定性得以恢復。沃特金斯說：“好像我們在給神經(jīng)網(wǎng)絡一樣，可以睡個好覺?！?/p>

這一發(fā)現(xiàn)是在研究團隊致力于開發(fā)神經(jīng)網(wǎng)絡時得出的，該網(wǎng)絡與人類和其他生物系統(tǒng)如何學習看得很近。該小組最初努力使穩(wěn)定的模擬神經(jīng)網(wǎng)絡經(jīng)受無監(jiān)督的字典訓練，該訓練涉及對對象進行分類，而無需事先進行示例比較。

洛斯·阿拉莫斯（Los Alamos）的計算機科學家和研究合著者加勒特·凱尼恩（Garrett Kenyon）說：“只有在嘗試利用生物學上逼真的尖峰神經(jīng)形態(tài)處理器或試圖了解生物學本身時，才會出現(xiàn)如何使學習系統(tǒng)變得不穩(wěn)定的問題?！薄敖^大多數(shù)機器學習，深度學習和AI研究人員從未遇到過這個問題，因為在他們研究的非常人工的系統(tǒng)中，他們可以執(zhí)行全局數(shù)學運算，從而具有調(diào)節(jié)系統(tǒng)整體動態(tài)增益的作用?！?/p>

研究人員將決定使網(wǎng)絡暴露于人工模擬睡眠的決定是將其穩(wěn)定的最后努力。他們對各種類型的噪聲進行了實驗，大致可與調(diào)諧收音機時在電臺之間遇到的靜態(tài)噪聲相媲美。當他們使用所謂的高斯噪聲波時，最好的結果是出現(xiàn)的，其中包括范圍廣泛的頻率和幅度。他們假設該噪聲模仿了慢波睡眠過程中生物神經(jīng)元接收到的輸入。結果表明，慢波睡眠可能在某種程度上起到了確保皮質(zhì)神經(jīng)元維持其穩(wěn)定性而不產(chǎn)生幻覺的作用。

小組的下一個目標是在英特爾的Loihi神經(jīng)形態(tài)芯片上實現(xiàn)他們的算法。他們希望讓Loihi時不時地進入睡眠狀態(tài)，使其能夠穩(wěn)定地實時處理來自硅視網(wǎng)膜相機的信息。如果這些發(fā)現(xiàn)證實了人造大腦需要睡眠，那么我們可能會期望未來可能出現(xiàn)的android和其他智能機器也是如此。

沃特金斯將于6月14日在西雅圖的“計算機視覺中的女性”研討會上介紹這項研究。