想象一下，一個(gè) 1600 萬(wàn)像素的攝像頭，它的原始數(shù)據(jù)要在毫秒級(jí)內(nèi)完成采集、傳輸，并驅(qū)動(dòng) AI 模型實(shí)時(shí)輸出人體姿態(tài)估計(jì)。這樣的實(shí)時(shí)感知系統(tǒng)如何構(gòu)建？

今天，我們將向大家展示一套由Terasic DE25-Standard與 NVIDIA Jetson AGX Orin 共同構(gòu)建的傳感器到 GPU 的高帶寬、低延遲解決方案?？?FPGA 如何成為邊緣 AI 的第一道“加速橋”。

DE25-Standard (Agilex 5 SoC FPGA) + Jetson AGX Orin — MIPI-to-10GbE Streaming

FPGA Holoscan Sensor Bridge 案例展示

FPGA Holoscan Sensor Bridge: 10GbE Ethernet Demo

在如上視頻Holoscan demo的整體架構(gòu)中，DE25-Standard扮演著關(guān)鍵角色：它充當(dāng)物理傳感器與GPU AI處理單元之間的橋梁，將傳感器的I/O和網(wǎng)絡(luò)任務(wù)從計(jì)算平臺(tái)卸載，使計(jì)算平臺(tái)能夠?qū)Ｗ⒂趶?fù)雜的AI推理工作，從而實(shí)現(xiàn)可擴(kuò)展的多傳感器集成。

下面這張圖將為您展示端到端的實(shí)時(shí)AI處理流程：

系統(tǒng)數(shù)據(jù)流描述

1.數(shù)據(jù)捕獲：Agilex5 FPGA 通過(guò) MIPI CSI-2原生接口采集高分辨率 MIPI 攝像機(jī)拍攝的RAW視頻。

2.FPGA實(shí)時(shí)處理：該 FPGA 執(zhí)行確定性數(shù)據(jù)采集，并通過(guò)Hololink Sensor Bridge IP將數(shù)據(jù)流轉(zhuǎn)換為網(wǎng)絡(luò)數(shù)據(jù)包，確保數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性與穩(wěn)定性。

3.高速傳輸：轉(zhuǎn)換后的數(shù)據(jù)包通過(guò)10GbE以太網(wǎng)接口傳輸至Jetson AGX Orin計(jì)算平臺(tái)。

4.GPU AI處理：Orin系統(tǒng)上的全息操作器負(fù)責(zé)實(shí)施ISP與AI處理流程。

5.結(jié)果呈現(xiàn)：基于YOLOv8(n)實(shí)現(xiàn)的實(shí)時(shí)姿態(tài)估計(jì)技術(shù)展示了低延遲、端到端、傳感器至AI的處理過(guò)程。

為何DE25-Standard能成為Holoscan傳感器橋接的理想之選？

因?yàn)镈E25-Standard具備以下關(guān)鍵能力：

原生傳感器連接：可通過(guò)MIPI CSI-2接口直接連接高分辨率圖像傳感器，捕獲原始影像數(shù)據(jù)。

FPGA前端處理：在FPGA內(nèi)部完成確定性的低延遲數(shù)據(jù)攝取，為后端的GPU處理減輕負(fù)擔(dān)。

高帶寬傳輸：通過(guò)集成的高速收發(fā)器，實(shí)現(xiàn)高達(dá)10GbE的數(shù)據(jù)流輸出。

邊緣計(jì)算優(yōu)化：緊湊的平臺(tái)設(shè)計(jì)使其非常適合部署在對(duì)功耗和空間有嚴(yán)格要求的實(shí)時(shí)邊緣系統(tǒng)。

Terasic DE25-Standard開(kāi)發(fā)板

更多傳感器橋接平臺(tái)

除了DE25-Standard之外，Terasic還推出了其他系列專為高效傳感器集成應(yīng)用場(chǎng)景而設(shè)計(jì)的傳感器橋接平臺(tái)。

基于Terasic的 FPGA 傳感器橋接平臺(tái)

FPGA作為傳感器橋接平臺(tái)其核心優(yōu)勢(shì)包括：

即用型平臺(tái)：傳感器橋接應(yīng)用的即用型硬件平臺(tái)。

高速接口支持：平臺(tái)支持從圖像傳感器到以太網(wǎng)網(wǎng)絡(luò)的高帶寬接口，能夠處理海量數(shù)據(jù)流。

確定性低延遲：利用FPGA的可編程邏輯特性，實(shí)現(xiàn)確定性的低延遲數(shù)據(jù)傳輸，確保數(shù)據(jù)能夠?qū)崟r(shí)送達(dá)GPU計(jì)算系統(tǒng)。

生態(tài)系統(tǒng)兼容性：完美兼容Altera的參考IP核以及NVIDIA Holoscan軟件開(kāi)發(fā)框架，為開(kāi)發(fā)者提供從硬件到軟件的完整工具鏈。

加速原型驗(yàn)證與部署：顯著縮短實(shí)時(shí)感知系統(tǒng)從概念原型到實(shí)際產(chǎn)品部署的周期。