老的書寫藝術(shù)將腦-機(jī)接口（BCI）領(lǐng)域推向了一個新的高度。研究人員設(shè)計(jì)了一個系統(tǒng)，通過想象創(chuàng)造手寫信息，一個人可以從大腦中直接與計(jì)算機(jī)通信。這種方法使交流的速度比以前通過大腦實(shí)驗(yàn)打字的速度快一倍多。

斯坦福大學(xué)的研究人員對一名65歲的脊髓損傷患者進(jìn)行了這項(xiàng)研究，該患者的大腦中植入了一個電極陣列?？茖W(xué)家們最近在《自然》雜志上描述了這項(xiàng)實(shí)驗(yàn)。

密歇根大學(xué)生物醫(yī)學(xué)工程師Cynthia Cheste沒有參與這項(xiàng)研究，但她表示：“這篇論文的重大突破是它的速度非常快。這至少是健全人的打字速度的一半，這就是為什么這篇論文可以發(fā)表在Nature上面?！?/p>

多年來，研究人員一直在試驗(yàn)一種方法，使人們能夠直接與計(jì)算機(jī)溝通，只通過思想，而不是口頭命令，手的運(yùn)動，或眼球運(yùn)動。這種技術(shù)為那些因腦中風(fēng)或疾病“被困”而不能說話的人提供了一種賦予生命的交流方式。

到目前為止，成功的腦機(jī)接口打字方法通常包括人們通過想象在數(shù)字鍵盤上移動光標(biāo)來選擇字母。與此同時，電極記錄大腦活動，機(jī)器學(xué)習(xí)算法破譯與這些想法相關(guān)的模式，將它們翻譯成鍵入的單詞。以前的大腦打字實(shí)驗(yàn)中，速度最快的一次實(shí)現(xiàn)了人們每分鐘打字40個字符，即8個單詞。

能做到這一點(diǎn)令人印象深刻，但在現(xiàn)實(shí)生活中，這種溝通的速度還是相當(dāng)慢。斯坦福大學(xué)的研究人員通過一個解碼與筆跡相關(guān)的大腦活動的系統(tǒng)，能夠?qū)⑦@一速度提高一倍以上。在這個新系統(tǒng)中，癱瘓了大約10年的參與者可以想象他寫句子時手的動作來進(jìn)行“打字”。斯坦福大學(xué)的研究人員Frank Willett參與了這項(xiàng)實(shí)驗(yàn)。

植入受試者大腦運(yùn)動皮層的微電極陣列記錄了他試圖寫字時單個神經(jīng)元的電活動。Willett表示：“受試者已經(jīng)十多年沒動過手，也沒試過寫字了，我們?nèi)匀辉O(shè)定了這些漂亮的神經(jīng)活動模式。”

在實(shí)驗(yàn)中，一名受試者可以每分鐘輸入 90 個字符（即18個單詞），這是此前使用腦機(jī)接口打字紀(jì)錄的兩倍多，接近同齡健全人每分鐘 115 個字符的智能手機(jī)打字速度，而且在線原始準(zhǔn)確率為 94.1%，離線自動校正的準(zhǔn)確率超過 99%。

斯坦福大學(xué)的研究人員通過重新利用最初為語音識別開發(fā)的機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)了這一壯舉。這種被稱為遞歸神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法，經(jīng)過幾個小時的訓(xùn)練，可以識別參與者在想象英文手寫句子時的神經(jīng)活動。Willett說，神經(jīng)網(wǎng)絡(luò)通常被訓(xùn)練成使用數(shù)萬小時的音頻數(shù)據(jù)和數(shù)百萬張圖像來識別語音和圖像。因此，筆跡實(shí)驗(yàn)面臨的挑戰(zhàn)是在有限的數(shù)據(jù)量下實(shí)現(xiàn)高精度。

同時，Willett表示：“為了克服這個問題，研究小組采用了數(shù)據(jù)增強(qiáng)技術(shù)。我們只有機(jī)會收集大約100-500個不同的句子，我們可以讓參與者寫。所以我們把這些句子切碎成單獨(dú)的字母，重新排列成無數(shù)不同的句子，我們發(fā)現(xiàn)這確實(shí)有助于這些算法準(zhǔn)確性的提高?！?/p>

研究人員發(fā)現(xiàn)，由于神經(jīng)活動的高峰和低谷因時間有所不同，可能由于書寫速度的波動，神經(jīng)活動似乎是強(qiáng)烈和可重復(fù)的。為了直觀地觀察筆跡嘗試過程中記錄的神經(jīng)活動，他們使用時間比對技術(shù)來消除時間變異性，這揭示了每個字符特有的顯著一致的神經(jīng)活動模式。

為了確定神經(jīng)活動是否編碼繪制了每個形狀所需的筆尖運(yùn)動，研究人員通過從試驗(yàn)平均神經(jīng)活動中線性解碼筆尖速度來重建每個字符，容易辨認(rèn)的字母形狀證實(shí)了筆尖速度是可靠編碼的，代表筆尖速度的神經(jīng)維度占總神經(jīng)方差的 30%。

其次，研究人員采用非線性降維方法（t-SNE），對每個試驗(yàn)的神經(jīng)活動進(jìn)行二維（2D）可視化，在對受試者給出 “go” 的提示后記錄相關(guān)信息。

t-SNE 方法顯示了每個字符的神經(jīng)活動緊密簇和一種主導(dǎo)運(yùn)動編碼，在這種編碼中，書寫相似的字符更接近，將近鄰分類器離線應(yīng)用到神經(jīng)活動中，可以對字符進(jìn)行分類，準(zhǔn)確率為 94.1%。

于是，研究人員得出結(jié)論，即使在癱瘓多年后，運(yùn)動皮層中筆跡的神經(jīng)表征可能仍足夠強(qiáng)大，可以通過腦機(jī)接口技術(shù)表達(dá)出來。研究人員經(jīng)對比分析，手寫字母可能比點(diǎn)對點(diǎn)運(yùn)動更容易區(qū)分，因?yàn)槭謱懽帜傅纳窠?jīng)活動時空模式比直線運(yùn)動更為多樣，而隨時間變化的運(yùn)動模式，從根本上說比點(diǎn)對點(diǎn)運(yùn)動更容易解碼。

雖然，當(dāng)前的實(shí)驗(yàn)結(jié)果證明了高性能 “手寫” 腦機(jī)接口是可能的，但它目前還不是一個完整的、臨床上的商用系統(tǒng)。接下來還有更多工作值得探索，比如進(jìn)一步提高打字性能，擴(kuò)展字符集、啟用文本編輯和刪除等操作。密歇根大學(xué)的Chestek表示：“實(shí)驗(yàn)中提出的技術(shù)和算法適用于其他研究領(lǐng)域，例如將大腦連接到假手。不管這是否是最好的溝通方式，總體上來說，這種方法對于電機(jī)控制來說是很有前途的?！?/p>

目前的算法必須針對每個參與者進(jìn)行培訓(xùn)和定制。它們還必須隨著時間的推移重新校準(zhǔn)，因?yàn)樯窠?jīng)元往往會隨著時間的推移而改變，電極陣列可能會稍微移動。Willett表示，下一步他希望減少初始訓(xùn)練時間，并想出一種算法自動重新校準(zhǔn)的方法。

原文標(biāo)題：腦機(jī)接口打破以往打字速度紀(jì)錄

文章出處：【微信公眾號：IEEE電氣電子工程師】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq