NVIDIA Dynamo 提高了推理性能，同時降低了擴(kuò)展測試時計算 (Scaling Test-Time Compute) 的成本；在 NVIDIA Blackwell 上的推理優(yōu)化將 DeepSeek-R1 上的吞吐量提高了 30 倍

NVIDIA 發(fā)布了開源推理軟件 NVIDIA Dynamo，旨在以高效率、低成本加速并擴(kuò)展 AI 工廠中的 AI 推理模型。

作為 NVIDIA Triton 推理服務(wù)器的后續(xù)產(chǎn)品，NVIDIA Dynamo 是一款全新的 AI 推理服務(wù)軟件，旨在為部署推理 AI 模型的 AI 工廠最大化其 token 收益。它協(xié)調(diào)并加速數(shù)千個 GPU 之間的推理通信，并使用分離服務(wù)將大語言模型 (LLM) 的處理階段和生成階段在不同 GPU 上分離開來。這使得每個階段的特定需求可以進(jìn)行單獨優(yōu)化，并確保更大程度地利用 GPU 資源。

NVIDIA Dynamo 完全開源并支持 PyTorch、SGLang、NVIDIA TensorRT-LLM 和 vLLM，使企業(yè)、初創(chuàng)公司和研究人員能夠開發(fā)和優(yōu)化在分離推理時部署 AI 模型的方法。

“全世界各行業(yè)都在訓(xùn)練 AI 模型以不同的方式進(jìn)行思考和學(xué)習(xí)，從而使模型復(fù)雜度持續(xù)升級?！?NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，“為了實現(xiàn)自定義推理 AI 的未來，NVIDIA Dynamo 可以在這些模型上進(jìn)行規(guī)?；渴穑瑥亩鵀?AI 工廠實現(xiàn)降本增效”。