NVIDIA TensorRT是一個用于高效實現(xiàn)已訓練好的深度學習模型推理過程的軟件開發(fā)工具包，內(nèi)含推理優(yōu)化器和運行環(huán)境兩部分，其目的在于讓深度學習模型能夠在 GPU 上以更高吞吐量和更低的延遲運行，目前已在業(yè)界得到廣泛應用與部署。

為了幫助廣大開發(fā)者更好地了解 TensorRT，NVIDIA GPU 計算專家團隊（Devtech）工程師李瑋、王猛基于最新的 8.6.1 版本錄制了NVIDIA TensorRT 教程。本系列教程預計 4 小時，包含五個章節(jié)，旨在相對全面地介紹 TensorRT。該教程濃縮了 NVIDIA TensorRT 開發(fā)團隊的技術(shù)和經(jīng)驗，以及與客戶在合作過程中遇到的各種問題和相應的解決方法，期待開發(fā)者們在觀看該教程及配套代碼庫后能有所收獲，為學習、科研和工作添磚加瓦。

需要注意的是，在未來版本的 TensorRT 中，部分 API 和用法可能發(fā)生變化，該教程內(nèi)容也會隨之進行更新，請在配合代碼進行學習的時候，注意開發(fā)環(huán)境和軟件版本，避免兼容性方面的問題。

立即掃碼充電！

TensorRT教程介紹

第一部分：TensorRT 簡介（時長: 41 分鐘）

●TensorRT 基本特性和用法●Workflow：使用 TensorRT API 搭建●Workflow：使用 ONNX-Parser●Workflow：使用框架內(nèi) TensorRT 接口 本章節(jié)將介紹 TensorRT 的基本特性和用法，并介紹使用 TensorRT 的三種常見工作流程。在該章節(jié)中，將從頭搭建一個可以在 TensorRT 中運行推理計算的程序，方便了解一些基本 API 的用法，然后分別使用 TensorRT 的原生 API 搭建、使用 Parser 解析 ONNX 模型，以及使用 TensorFlow 和 Pytorch 等平臺自帶的 TensorRT 接口這三種方法將 TensorRT 用起來。

第二部分：開發(fā)輔助工具（時長：24 分鐘）

●trtexec●Netron●polygraphy●onnx-graphsurgeon●NsightSystems

本章節(jié)介紹使用 TensorRT 過程中五個常用的開發(fā)輔助工具，它們在性能測試、網(wǎng)絡(luò)可視化、模型遷移、精度檢驗、計算圖編輯、模型整體性能優(yōu)化等方面都起到了重要的作用。第二章節(jié)將逐一介紹這五個工具，并列舉在實際工作中使用這些工具的范例和經(jīng)驗。

第三部分：插件書寫（時長：18 分鐘）

●使用 Plugin 的簡單例子●關(guān)鍵 API●結(jié)合使用 Parser 和 Plugin●Plugin 高級話題●使用 Plugin 的例子

本章節(jié)將著重介紹 TensorRT Plugin 的相關(guān)技術(shù)，將從一個最簡單的標量加法的 Plugin 例子開始，講解 Plugin 的原理、特性、用法等，然后介紹一個把 Plugin 和 Parser 結(jié)合使用的例子，最后補充一些 Plugin 的高級用法，以及在工作中使用 Plugin 的一些案例。

第四部分:TensorRT高級用法（時長: 28 分鐘）

●多 OptimizationProfile●多 Stream●多 Context●CUDAGraph●TimingCache●Refit●TacticSource●硬件兼容+版本兼容●更多工具

本章節(jié)將介紹 TensorRT 的一些高級話題。這些技術(shù)在 TensorRT 的使用過程中不是必須的，但在復雜的實際應用場景中，這些技術(shù)對于改善模型性能和內(nèi)存占用、模型的調(diào)試分析、算法精確控制等方面有重要的作用。建議在完成前三個章節(jié)的學習后，瀏覽本章節(jié)，將對 TensorRT 的使用起到錦上添花的作用。

第五部分：常見優(yōu)化策略（時長:1 小時 42 分鐘）

●概述●性能分析工具●性能優(yōu)化實例

本章節(jié)將介紹 TensorRT 工作流程中常見的模型優(yōu)化方法。該部分內(nèi)容將深入講解 TensorRT 相關(guān)性能分析工具，并以實例方式講述曾經(jīng)遇到過的一個模型在移植、優(yōu)化、部署的過程中使用的優(yōu)化策略。

TensorRT Hackathon、

生成式 AI 模型優(yōu)化賽

火熱報名中！

由阿里云、 NVIDIA 聯(lián)合舉辦，由阿里云天池平臺組織運營的“NVIDIA TensorRT Hackathon 2023 生成式 AI 模型優(yōu)化賽”正在火熱報名中，截止時間 8 月 14 日上午 10:00。該賽事面向全社會開放，接受個人或不多于三人的組隊形式參賽。

掃碼報名參賽！

? ? ? ? ? ? ? ? ? ?

相關(guān)資源鏈接：

?TensorRT 介紹：https://developer.nvidia.com/tensorrt?TensorRT下載：https://developer.nvidia.com/nvidia-tensorrt-download

?TensorRT Cookbook（本教程配套代碼，包含視頻以外的更多范例代碼）：https://github.com/NVIDIA/trt-samples-for-hackathon-cn/tree/master/cookbook

?TensorRT文檔：https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html

?C++ API文檔：https://docs.nvidia.com/deeplearning/tensorrt/api/c_api/

?Python API文檔：https://docs.nvidia.com/deeplearning/tensorrt/api/python_api/ 點擊“閱讀原文”，查看 TensorRT 全新教程！ 掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。