在評估AI硬件時，規(guī)格競賽（能效、性能和對各種算法的支持）絕對是重要的。

但是，當系統(tǒng)公司把在GPU上開發(fā)的AI模型移植到其他類型的硬件時發(fā)生的精度損失怎么處理呢？這就是DeepX的特色。

上周，AI芯片初創(chuàng)公司DeepX的創(chuàng)始人Lokwon Kim，在加州Santa Clara的展會上推出了一系列AI加速器。Kim聲稱，這些芯片將實現(xiàn)“無處不在的AI，人人可用的AI?！?

Kim選擇了嵌入式視覺峰會作為他的首次公開亮相。需明確的是，DeepX是一個剛加入這個擁擠賽道的初創(chuàng)公司。然而，DeepX在韓國卻有著深厚的根基。通過向韓國政府積極地營銷，Kim已經(jīng)把DeepX在AI領域的研發(fā)變成了一個國家項目。

DeepX從政府那里籌集了4000萬美元，還在韓國的風投圈中籌集了2000萬美元。根據(jù)Kim的說法，今年晚些時候?qū)⒂媱澾M行B輪融資。

DeepX正在推出一系列用于邊緣設備嵌入式視覺產(chǎn)品的AI加速器。它還開發(fā)了包括編譯器和運行時在內(nèi)的軟件開發(fā)套件DXNN。DeepX認為DXNN是其皇冠上的明珠。

據(jù)報道，DXNN可以簡化深度學習模型部署到DeepX的AI SoC的過程。其編譯器提供了高性能量化、模型優(yōu)化和NPU推理編譯的工具。其運行時包括NPU設備驅(qū)動程序、帶有API的運行時和NPU固件。

最重要的是，該公司聲稱，DXNN支持“以浮點格式訓練的DNN模型的自動量化”。

DeepX并沒有憑空創(chuàng)造出其AI硬件架構。Kim說，自2016年創(chuàng)立公司以來，“我們實際上已經(jīng)與數(shù)百家全球公司坐下來進行了面談。”

Kim觀察到，“可擴展性、AI精度以及功率/性能效率”是邊緣AI系統(tǒng)開發(fā)者一直在苦苦掙扎的三個領域。DeepX的目標是在其AI加速器上實現(xiàn)GPU級的AI精度，同時提供高吞吐量和低功耗。

DeepX的源起

在DeepX之前，Kim是Apple的AP的首席設計師，參與開發(fā)了A10、A11 Bionic和A12 Bionic。

Kim創(chuàng)辦DeepX的靈感來源于他2010年在IBM的T.J. Watson研究中心做訪問學者的經(jīng)歷。他當時的工作是開發(fā)深度學習MPU，這是DARPA指派給IBM的一個項目。

當時Kim是UCLA的博士生，自那以后，他一直沉迷于在MPU上運行DNN的想法。

即使在加入Apple后，Kim也一直堅持著自己的AI創(chuàng)業(yè)夢想?！拔覍嶋H上已經(jīng)把我的想法帶給了Apple的高層管理人員。”他們拒絕了，于是Kim結束了在Apple的工作，并返回韓國。

Kim表示，他非常敬仰張忠謀。半導體行業(yè)對張忠謀的貢獻有很大的感激之情。張忠謀離開美國，在臺灣創(chuàng)辦了TSMC。這個起初并不被看好的企業(yè)最終成為了全球最大的代工巨頭。

Kim說，TSMC對臺灣的重要性（無論是經(jīng)濟上還是政治上）已不言而喻。通過利用AI的力量，Kim希望在他的祖國取得類似的重要地位。

這是一個大膽的說法。但是Kim的想法反映了這個時代。無論是好是壞，地緣政治已經(jīng)成為先進半導體發(fā)展的內(nèi)在因素。

戰(zhàn)略

DeepX設計了同屬一系列的四款AI加速器，所有的焦點都集中在視覺應用上。其策略是為多個邊緣視覺AI領域提供可擴展的解決方案。

DX-L1，適用于IP攝像頭、車內(nèi)監(jiān)控、機器人攝像頭和無人機等攝像頭應用。

DX-L1包含四核RISC-V、ISP、MIPI和視頻編碼器，提供12 eTOPS的AI性能。Kim指的eTOPS是“相當于GPU的TOPS的性能度量標準”。

DX-L2支持3-4個攝像頭的邊緣AI視覺系統(tǒng)，提供38 eTOPS。

DX-M1，配備了雙核ARM核和ISP，支持10個攝像頭，提供200 eTOPS。

DX-H1，提供1600 eTOPS，將以PCIe卡的形式生產(chǎn)，可以部署在能夠執(zhí)行大規(guī)模AI操作的邊緣服務器中。通過支持10,000個攝像頭，DX-H1可以服務于安裝了大量監(jiān)控攝像頭的工廠。H1具有與M1類似的雙核ARM核和ISP模塊。

所有四種芯片都由三星代工，其中L1和L2采用28nm制程。M1是14nm，H1則使用5nm工藝。價格范圍從10美元（L1）、20美元（L2）到50美元（M1）和1500美元（H1）不等。

準確性

除了提供低功耗和性能效率外，DeepX還將資源集中在量化工作上，以保證GPU級的準確性。

基于自身經(jīng)驗，DeepX專注于解決準確性降低的問題上。Kim指出，將原本在浮點格式GPU上訓練的AI模型移植到其它硬件上，都會導致準確性降低。

因此，DeepX的團隊尋找了每個數(shù)據(jù)路徑中準確性降低的點。結果就是DeepX在其SDK，即DXNN中稱之為“世界頂級的量化器”。

市場細分

過去幾年中，許多AI硬件創(chuàng)業(yè)公司被汽車行業(yè)所誘惑，夢想著他們的AI芯片將成為下一代車輛平臺的計算機大腦。

相反，Kim得出的結論是，對于一家初創(chuàng)公司來說，向車廠銷售AI芯片是一個糟糕的選擇。因為汽車芯片需要經(jīng)過漫長的驗證時間，ASIL B和C等認證作業(yè)增加了很多困難。即使解決了這些障礙，芯片銷量也微乎其微。

相反，Kim的策略是與車廠合作，為DeepX MPU授權IP，包括軟件。Kim解釋說，DeepX一直被OEM忽視，現(xiàn)在卻開始收到OEM要求評估DeepX芯片的請求。

這可能意味著兩件事。

首先，許多歐洲車廠向Kim暗示，他們對下一代車輛平臺仍未做出決定。

其次，一些領先的車廠已經(jīng)投入資源使用Nvidia的GPU開發(fā)自己的AI模型。但現(xiàn)在，當他們將模型移植到其他硬件上時，準確性降低問題正在出現(xiàn)。這迫使他們重新尋找另一種AI硬件解決方案。

Kim表示，DeepX只會為車廠提供IP授權。對于其他應用領域，其業(yè)務模式則是直接銷售芯片。

Kim表示，DeepX的AI芯片的最佳應用場景是機器人，無論是配送機器人還是在工廠內(nèi)作業(yè)的機器人。

Nvidia顯然已經(jīng)通過GPU贏得了AI市場。然而，AI競賽的下一章或許在于如何將在GPU上訓練的AI模型有效地移植到非GPU硬件上。

審核編輯：劉清