訓(xùn)練最先進的人工智能系統(tǒng)所需的巨大計算資源意味著，經(jīng)驗豐富的科技公司將學(xué)術(shù)團隊置于塵埃中。但是一種新方法可以幫助平衡規(guī)模，使科學(xué)家可以在一臺計算機上解決最先進的AI問題。

OpenAI的2018年報告發(fā)現(xiàn)，用于訓(xùn)練最強大的AI的處理能力以令人難以置信的快速速度增長，每3.4個月翻一番。最需要數(shù)據(jù)的方法之一是深度強化學(xué)習(xí)，其中AI通過遍歷數(shù)百萬次仿真來通過反復(fù)試驗來學(xué)習(xí)。最近在諸如Starcraft和Dota2之類的視頻游戲上取得的令人印象深刻的進步依賴于裝有數(shù)百個CPU和GPU的服務(wù)器。

諸如Cerebras System的Wafer Scale Engine之類的專用硬件有望用完美優(yōu)化用于訓(xùn)練AI的單個大型芯片來取代這些機架式處理器。但是，由于價格高達(dá)數(shù)百萬美元，對于資金不足的研究人員來說，這并不是什么安慰。

現(xiàn)在，南加州大學(xué)和英特爾實驗室的團隊創(chuàng)建了一種方法，可以在學(xué)術(shù)實驗室常用的硬件上訓(xùn)練深度強化學(xué)習(xí)（RL）算法。在本周于2020年國際機器學(xué)習(xí)大會（ICML）上發(fā)表的一篇論文中，他們描述了他們?nèi)绾文軌蚴褂脝蝹€高端工作站在第一人稱射擊游戲中訓(xùn)練具有最先進性能的AI電子游戲Doom。他們還使用一小部分正常計算能力來解決DeepMind提出的30種多樣化3D挑戰(zhàn)套件。

“發(fā)明對商品硬件進行深度RL的方法是一個了不起的研究目標(biāo)，”德克薩斯大學(xué)奧斯汀分校的教授Peter Stone說，他專門研究深度RL。他補充說，除了將較小的研究小組拋在身后之外，進行此類研究通常所需的計算資源也會產(chǎn)生大量的碳足跡。他說：“在使RL民主化和減少進行研究所需的能源方面取得的任何進展都是朝著正確方向邁出的一步?！?/p>

USC研究生的主要作者Aleksei Petrenko說，該項目的靈感來自于必須成為發(fā)明之母的經(jīng)典案例。隨著在英特爾的暑期實習(xí)期結(jié)束，Petrenko失去了進入該公司的超級計算集群的權(quán)限，這使尚未完成的深度RL項目陷入危險之中。因此，他和同事決定找到一種方法來繼續(xù)進行簡單系統(tǒng)的工作。