相信很多小伙伴都已經(jīng)知道，在最新一代的英特爾 酷睿 Ultra 移動(dòng)端處理中已經(jīng)集成了被稱(chēng)為 NPU 的神經(jīng)網(wǎng)絡(luò)加速處理器，以提供低功耗的 AI 算力，特別適合于 PC 端需要長(zhǎng)時(shí)間穩(wěn)定運(yùn)行的 AI 輔助功能，例如會(huì)議聊天軟件中的自動(dòng)摳像，或是畫(huà)面超分辨率等應(yīng)用。而 OpenVINO 工具套件也在第一時(shí)間對(duì) NPU 進(jìn)行了適配，接下來(lái)就讓我們一起看一下如何在英特爾 酷睿 Ultra 處理器上搭建基礎(chǔ)環(huán)境，并調(diào)用 NPU 進(jìn)行模型推理任務(wù)。

NPU 驅(qū)動(dòng)安裝

首先我們需要確保是否安裝了最新版的 NPU 驅(qū)動(dòng)，可以通過(guò) Windows 任務(wù)管理調(diào)出當(dāng)前 NPU 驅(qū)動(dòng)版本信息。

圖：NPU 在 Windows 任務(wù)管理器中顯示驅(qū)動(dòng)版本

查詢(xún)當(dāng)前最新的 NPU 驅(qū)動(dòng)版本：

https://www.intel.com/content/www/us/en/download/794734/intel-npu-driver-windows.html

圖：NPU 驅(qū)動(dòng)下載頁(yè)面

如果想更新或是重裝 NPU 驅(qū)動(dòng)，可以參考以下指引下載并安裝驅(qū)動(dòng)：

https://docs.openvino.ai/2023.3/openvino_docs_install_guides_configurations_for_intel_npu.html

OpenVINO 的下載和安裝

由于目前 NPU Plugin 還沒(méi)有被集成在 OpenVINO 的 PyPI 安裝包中，因此我們需要通過(guò)下載 OpenVINO runtime 壓縮包的方式進(jìn)行安裝。

圖：OpenVINO 下載頁(yè)面

整個(gè)安裝過(guò)程非常簡(jiǎn)單，只需將壓縮包解壓到在本地路徑下即可。具體方法可以參考上圖標(biāo)紅處的安裝說(shuō)明。

圖：將壓縮包解壓至本地路徑

Python 環(huán)境配置

通過(guò)執(zhí)行壓縮包中的 setupvars.bat 環(huán)境配置腳本，我們便可以直接在 Python 環(huán)境下加載 OpenVINO runtime 和 NPU Plugin 環(huán)境。同時(shí)利用 OpenVINO 的 Python API 指令，我們可以快速驗(yàn)證 NPU 是否可以被正常調(diào)用。

圖：Python 環(huán)境中驗(yàn)證 NPU 調(diào)用

C++ 環(huán)境配置

不同于 Python，Windows 上的 C++ 應(yīng)用需要依賴(lài)于 CMake 或者是 Visual Studio 的環(huán)境下調(diào)試，因此這里我們需要簡(jiǎn)單配置下 OpenVINO 庫(kù)的路徑。下面以 Visual Studio 中新建項(xiàng)目的屬性配置頁(yè)面為例。

圖：配置 OpenVINO runtime 頭文件路徑

圖：配置 OpenVINO runtime 動(dòng)態(tài)庫(kù)路徑

圖：配置 OpenVINO runtime 及 frontednd 靜態(tài)庫(kù)路徑

圖：在 Windows 本地添加 OpenVINO 環(huán)境變量路徑

當(dāng)完成 Visual Studio 項(xiàng)目屬性配置后，我們可以通過(guò)調(diào)試以下示例代碼，測(cè)試 NPU 是否可以被檢測(cè)及調(diào)用。

#include 
#include 


int main(int argc, char* argv[]) {


  // -------- Get OpenVINO runtime version --------
  std::cout << ov::get_openvino_version() << std::endl;


 ? ?// -------- Step 1. Initialize OpenVINO Runtime Core --------
 ? ?ov::Core core;


 ? ?// -------- Step 2. Get list of available devices --------
 ? ?std::vector availableDevices = core.get_available_devices();


  // -------- Step 3. Query and print supported metrics and config keys --------
  std::cout << "available devices: " << std::endl;
 ? ?for (auto&& device : availableDevices) {
 ? ? ? ?std::cout << device << std::endl;
 ? ?}
}

圖：VS 環(huán)境中驗(yàn)證 NPU 調(diào)用

測(cè)試效果

當(dāng)完成 NPU 安裝后，我們可以通過(guò) OpenVINO notebooks 中提供的示例，簡(jiǎn)單測(cè)試下 NPU 的性能。這個(gè)示例會(huì)通過(guò)以下 Python 代碼來(lái)將模型部署在 NPU 上。

compiled_model = core.compile_model("model.xml", "NPU")

圖：實(shí)時(shí)人體關(guān)鍵點(diǎn)演示效果

可以看到 NPU 在運(yùn)行實(shí)時(shí)人體關(guān)鍵點(diǎn)檢測(cè)模型時(shí)的效果和速度還是非常不錯(cuò)的，達(dá)到了 90FPS 的吞吐量，同時(shí)推理任務(wù)幾乎也沒(méi)有占用 CPU 額外的資源，真正做到了在提供高算力的同時(shí)，減輕 CPU 和 GPU 的任務(wù)負(fù)載。

審核編輯：劉清