RZ/V2系列MPU簡介

RZ/V2系列是一種內(nèi)置瑞薩電子獨(dú)家硬件加速器 “DRP（Dynamically Reconfigurable Processor，動(dòng)態(tài)可配置處理器)-AI”的AI專用微處理器（MPU）。DRP-AI專為嵌入式機(jī)器視覺類AI/ML（Machine Learning）應(yīng)用優(yōu)化設(shè)計(jì)，可提供實(shí)時(shí)AI推理和圖像處理功能，同時(shí)兼具了高AI推理性能和低功耗特性，家族化產(chǎn)品支持0.4~80TOPS不等的可擴(kuò)展AI算力，為資源（如電池容量、空間等）有限的嵌入式端側(cè)AI應(yīng)用提供差異化有競爭力的解決方案。

家族產(chǎn)品概覽

RZ/V2 AI-MPU家族產(chǎn)品概覽

按照性能劃分

RZ/V系列有三大子系列產(chǎn)品：

1、入門級(jí)RZ/V2L，配備軟ISP和3D圖形引擎，可應(yīng)用于基礎(chǔ)的分類、目標(biāo)檢測(cè)、人臉識(shí)別等應(yīng)用，主要規(guī)格如下：

2 x Cortex-A55，最高主頻1.2GHz，支持NEON/FPU

專用DRP-AI硬件加速單元，軟ISP（DRP庫）

500-MHz Arm Mali-G31 3D圖形引擎，GPU支持庫：OpenGL ES1.1/2.0/3.0/3.1/3.2，OpenCL 2.0

支持MIPI-DSI或RGB888顯示輸出，最高支持1920 × 1080顯示分辨率

硬件VCP，支持H.264/ AVC編碼和解碼，支持高達(dá)FHD (1920 x 1080) x 30fps處理

支持MIPI-CSI或DVP camera輸入

千兆以太網(wǎng)、USB2.0、雙CAN-FD接口，ADC，最多7路UART

2

2、中端RZ/V2M子系列包括RZ/V2M和RZ/V2MA兩款產(chǎn)品，可用性能需求更高的目標(biāo)檢測(cè)、姿態(tài)估計(jì)、OpenCV加速應(yīng)用，主要規(guī)格如下：

2 x Cortex-A53，最高主頻1.0GHz，支持NEON/FPU

專用DRP-AI硬件加速單元，加速卷積神經(jīng)網(wǎng)絡(luò)處理，或OpenCV加速

MIPI-CSI輸入，4K/30fps高性能ISP（僅RZ/V2M）

MIPI-DSI，HDMI顯示輸出，最高支持1920 × 1080顯示分辨率（僅RZ/V2M）

硬件VCP，支持H.265/HEVC編碼和解碼，H.264/ AVC編碼和解碼，最高3840 × 2160p × 30fps編碼, 3840 × 2160p x 30 fps解碼（僅RZ/V2M）

千兆以太網(wǎng)、USB3.1、PCIe高速接口

3、高性能RZ/V2H子系列（將于2023年MP），提供8~80TOPS強(qiáng)勁算力，可應(yīng)用于支持更復(fù)雜的語義分割（避障或定位）、空間物體捕捉、行為預(yù)測(cè)等應(yīng)用，主要規(guī)格如下：

4 x Cortex-A55，最高主頻1.8GHz，支持NEON/FPU

專用DRP-AI硬件加速單元，4K/30fps高性能ISP

500-MHz Arm Mali-G31 3D圖形引擎，GPU支持庫：OpenGL ES1.1/2.0/3.2，OpenCL 2.0

MIPI-CSI Camera輸入，最多8路

MIPI-DSI顯示輸出，最高支持FHD（1920 × 1080p）x 60fps顯示分辨率

硬件VCP，支持H.265,H.264編碼和解碼，最高4K x 30fps 編解碼

千兆以太網(wǎng)、USB3.2、PCIe、CAN-FD等接口

DRP-AI作用和優(yōu)勢(shì)

DRP-AI對(duì)DL（Deep Learning）卷積神經(jīng)網(wǎng)絡(luò)具有非凡的加速效果，同時(shí)兼具了高AI推理性能和低功耗特性，主要原因在于：

1、DRP獨(dú)特架構(gòu)：集成專用AI-MAC單元和DRP兩部分專用IP。端到端AI推斷由DRP-AI單元單獨(dú)處理，無需任何CPU介入處理

2、大部分前/后處理由DRP的流水線處理完成

3、最高的MAC操作利用率

4、通過集成Buffer內(nèi)存盡可能地減少了與外部DRAM數(shù)據(jù)交換

DRP-AI的開發(fā)流程

同市場上其他主流機(jī)器學(xué)習(xí)硬件加速器，DRP-AI的開發(fā)流程包括AI包括學(xué)習(xí)（訓(xùn)練）和推理兩個(gè)環(huán)節(jié)。差異點(diǎn)在于，瑞薩將提供免費(fèi)的DRP-AI模型轉(zhuǎn)換工具，將目標(biāo)代碼轉(zhuǎn)換成可識(shí)別的代碼，部署到RZ/V嵌入式平臺(tái)。