NVIDIA 今日發(fā)布能在 NVIDIA RTX AI PC 本地運行的基礎模型，為數(shù)字人、內(nèi)容創(chuàng)作、生產(chǎn)力和開發(fā)提供強大助力。

這些基礎模型以 NVIDIA NIM 微服務的形式提供，由全新 GeForce RTX 50 系列 GPU 加速，提供最高可達 2375 AI TOPS 和 32GB 顯存。基于 NVIDIA Blackwell 架構(gòu)的 RTX 50 系列 GPU 是首批支持 FP4 計算精度的消費級 GPU。與上一代產(chǎn)品相比，AI 推理性能提升 2 倍，并讓生成式 AI 模型在本地以更小的顯存占用空間運行。

長期以來，GeForce 一直是 AI 開發(fā)者的重要平臺。早在 2012 年，首個由 GPU 加速的深度學習網(wǎng)絡 AlexNet 就是在 GeForce GTX 580 上進行訓練的。在去年發(fā)表的 AI 研究論文中，超過 30% 都提及了對 GeForce RTX 的使用。

現(xiàn)如今，在生成式 AI 和 RTX AI PC 的助力下，任何人都能成為開發(fā)者。借助 AnythingLLM、ComfyUI 和 LangFlow 等新一代低代碼和無代碼工具，發(fā)燒友能夠通過簡單的圖形用戶界面(GUI)在復雜的工作流中使用 AI 模型。

連接到這些 GUI 的 NIM 微服務使獲取和部署最新生成式 AI 模型輕而易舉。NVIDIA AI Blueprint 基于 NIM 微服務構(gòu)建，旨在為數(shù)字人、內(nèi)容創(chuàng)作等應用提供易于使用的預配置參考工作流。

為滿足 AI 開發(fā)者和發(fā)燒友日益增長的需求，領先 PC 制造商和系統(tǒng)集成商即將推出搭載 GeForce RTX 50 系列 GPU 且支持 NIM 的 RTX AI PC。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，“AI 正在以光速發(fā)展，從感知式 AI 到生成式 AI，再到如今的代理式 AI。NIM 微服務和 AI Blueprint 為 PC 開發(fā)者和發(fā)燒友探索 AI 提供了基礎模塊?！?/p>

NIM 提供迅捷 AI 體驗

基礎模型，即使用海量原始數(shù)據(jù)訓練而成的神經(jīng)網(wǎng)絡，是生成式 AI 的基礎模塊。

NVIDIA 將發(fā)布一系列來自包括 Black Forest Labs、Meta、Mistral 和 Stability AI 等頂尖模型開發(fā)者的適用于 RTX AI PC 的 NVIDIA NIM 微服務。涵蓋大語言模型(LLM)、視覺語言模型、圖像生成、語音、檢索增強生成(RAG)的嵌入模型、PDF 提取和計算機視覺等應用場景。

Black Forest Labs 首席執(zhí)行官 Robin Rombach 表示，“支持 FP4 計算精度的 GeForce RTX 50 系列 GPU 將使一大批此前僅適用于大型數(shù)據(jù)中心的模型得以在 PC 上運行。把 Flux 打造成 NVIDIA NIM 微服務，讓更多用戶以更快的速度部署和體驗 AI，同時提供超乎想象的性能?！?/p>

NVIDIA 今天還宣布推出 Llama Nemotron，這是一系列開放許可的基礎模型，能夠在各類代理式任務中提供極高的精度。Llama Nemotron Nano 模型將作為面向 RTX AI PC 和工作站的 NIM 微服務提供，在指令遵循、工具調(diào)用、聊天、代碼和數(shù)學等代理式 AI 任務方面表現(xiàn)出眾。

NIM 微服務包含在 PC 上運行 AI 所需的關鍵組件，并針對 NVIDIA GPU 的部署進行優(yōu)化，無論 GPU 在 RTX PC 、工作站，還是在云端。

開發(fā)者和發(fā)燒友將能快速下載這些 NIM 微服務，并可在帶有適用于 Linux 的 Windows 子系統(tǒng)(WSL)的 Windows 11 PC 上設置和運行。

微軟副總裁，Windows 業(yè)務負責人 Pavan Davuluri 表示：“AI 正在快速驅(qū)動 Windows 11 PC 創(chuàng)新，適用于 Linux 的 Windows 子系統(tǒng)(WSL)和 Windows Copilot Runtime 為 Windows 11 上的 AI 開發(fā)提供出色的跨平臺環(huán)境。NVIDIA NIM 微服務為 Windows PC 提供優(yōu)化，為開發(fā)者和發(fā)燒友提供可立即集成到其 Windows 應用中的 AI 模型，從而進一步加速 Windows 用戶的 AI 功能部署。”

運行在 RTX AI PC 上的 NIM 微服務將兼容?先進 AI 開發(fā)和智能體框架，包括 AI Toolkit for VSCode、AnythingLLM、ComfyUI、CrewAI、Flowise AI、LangChain、LangFlow 和 LM Studio。開發(fā)者可以通過行業(yè)標準端點，將基于上述框架構(gòu)建的應用和工作流連接到運行 NIM 微服務的 AI 模型，無論在云端、數(shù)據(jù)中心、工作站還是 PC 上，都可通過統(tǒng)一的接口使用最新技術。

發(fā)燒友還可通過即將發(fā)布的 NVIDIA ChatRTX 技術 Demo 體驗一系列 NIM 微服務。

讓代理式 AI 擁有擬人表情

為了向 RTX 發(fā)燒友和開發(fā)者展示使用 NIM 微服務構(gòu)建 AI 智能體和助手的方法，NVIDIA 今天首度公開 Project R2X。這是一款具有視覺能力的 PC 虛擬形象，它可以讓用戶需要的信息觸手可及、協(xié)助用戶使用桌面應用、進行視頻會議、閱讀和總結(jié)文檔等。

該虛擬形象采用全新生成式 AI 算法 NVIDIA RTX Neural Faces 渲染而成，這種算法可利用完全生成的像素來增強傳統(tǒng)光柵化渲染。然后，面部通過基于擴散原理的全新 NVIDIA Audio2Face-3D 模型驅(qū)動動畫，該模型可改善唇部和舌頭動作。R2X 可以通過 CrewAI、Flowise AI 和 LangFlow 等開發(fā)者框架連接到 OpenAI 的 GPT 4o 或 xAI 的 Grok 等云端 AI 服務，以及 NIM 微服務和 AI Blueprint，如 PDF 檢索器或其他 LLM。

AI Blueprint 即將登陸 PC

NIM 微服務還可通過 AI Blueprint(可在 RTX PC 上本地運行的參考 AI 工作流)供 PC 用戶使用。借助這些藍圖，開發(fā)者能夠基于 PDF 文檔創(chuàng)建播客、生成由 3D 場景引導的令人驚艷的圖像等。

將 PDF 轉(zhuǎn)換為播客的藍圖可從 PDF 中提取文本、圖像和表格，創(chuàng)建可供用戶編輯的播客腳本。它還能根據(jù)此腳本，使用藍圖中提供的語音或基于用戶的語音樣本生成完整的音頻錄音。此外，用戶還能與 AI 播客主持人進行實時對話，了解有關特定主題的更多信息。

該藍圖利用像 Mistral-Nemo-12B-Instruct 這樣的 NIM 微服務來處理語言，借助 NVIDIA Riva 進行文本轉(zhuǎn)語音和自動語音識別，以及使用 NeMo Retriever 微服務集合進行 PDF 提取。

使用由 3D 引導的生成式 AI Blueprint，藝術家能對圖像生成進行更精細的控制。雖然 AI 可以通過簡單的文本提示生成令人驚嘆的圖像，但僅使用文字控制圖像的內(nèi)容極具挑戰(zhàn)。有了上述藍圖，創(chuàng)作者可以借助使用 Blender 等 3D 渲染器布置簡單的 3D 物體來引導 AI 圖像生成。藝術家可手動或使用 AI 生成創(chuàng)建 3D 資產(chǎn)，將其放置在場景中，并設置 3D viewport 相機。由 Flux NIM 微服務提供支持的預打包工作流將可以通過插件(例如 Blender 中由開發(fā)者 ACGGit 開發(fā)的 ComfyUI-BlenderAI-node)使用當前布景生成與 3D 場景相匹配的高質(zhì)量圖像。

NVIDIA NIM 微服務和 AI Blueprint 將從 2 月起開始提供，首發(fā)支持的硬件包含 GeForce RTX 50 系列、GeForce RTX 4090 和 4080 以及 NVIDIA RTX 6000 和 5000 GPU，未來還會陸續(xù)提供對其他 GPU 的支持。宏碁、華碩、戴爾、惠普、聯(lián)想、微星、雷蛇將推出支持 NIM 的 RTX AI PC。