三張圖
在Xilinx官網(wǎng)找資料無意中在應用—>AI推斷加速中看到了下面三張圖,頓覺“眾里尋他千百度,驀然回首,那人卻在燈火闌珊處”的意思了。三張圖非常通俗易懂的介紹了FPGA/ACAP這樣的體系結構在AI推理中的優(yōu)勢。
1. CPU/GPU實現(xiàn)中為了達到高吞吐量高性能,必須(要一次輸入足夠多的數(shù)據(jù),但這會因為數(shù)據(jù)的準備和同步而增加延時)從而導致只能在高吞吐量或低延時中選擇其一。
2. FPGA/ACAP 覆蓋的應用極其廣泛在IT,CT,OT中都深耕多年,積累的IP和應用也非常豐富。在目前AI滲透到各個行業(yè)的時代,通過FPGA的自定義AI加速器可以快速,緊密耦合到已有的應用。同時不僅僅是在AI部分加速,還可以在網(wǎng)絡,存儲等等對應用整體進行加速提高效能。
3. 人工智能/深度學習的模型在快速變化,利用新的Domain Specific Architecture的平臺,可以快速完成新的模型設計,快速完成迭代。
遺珠
無獨有偶,在Apple的開發(fā)者大會相關的報道中,當大家在討論iPad OS,驚嘆Mac 價格和配置時,往往漏掉了一則重要的信息,在Mac Pro中,除了CPU, GPU用戶還可以選裝FPGA加速卡,幫助Mac Pro視頻編輯的用戶同時處理3路8K視頻流或者12路4K視頻流。開個小腦洞,也許在未來的某一年,突然發(fā)現(xiàn)每個工作站都會配備的FPGA 加速卡,利用FPGA加速特定的應用服務。將來的APP Store中會不會順便賣賣加速的Overlay呢?
編輯:hfy
-
FPGA
+關注
關注
1664文章
22501瀏覽量
639013 -
gpu
+關注
關注
28文章
5268瀏覽量
136054
發(fā)布評論請先 登錄
信而泰×DeepSeek:AI推理引擎驅動網(wǎng)絡智能診斷邁向 “自愈”時代
NVIDIA 在首個AI推理基準測試中大放異彩
ACAP的主要架構創(chuàng)新解析
當AI遇上FPGA會產(chǎn)生怎樣的反應
深度剖析OpenHarmony AI調(diào)度管理與推理接口
請問一下rknn多圖推理參數(shù)該怎樣去設置呢
FPGA發(fā)明以來最偉大的技術ACAP解析
車道的視覺識別缺陷:三張紙片將特斯拉“騙”上錯誤路線
中國廣電讓中國市場擁有了三張5G網(wǎng)
三張接線圖搞定步進電機接線問題!
三張圖搞懂三極管的三種狀態(tài)資料下載
FPGA和ASIC在大模型推理加速中的應用
三張圖解析FPGA/ACAP在AI推理中的優(yōu)勢
評論