“首次價(jià)值實(shí)現(xiàn)時(shí)間”是 AI 開發(fā)領(lǐng)域最重要的指標(biāo)之一。

AI 正在為所有人創(chuàng)造價(jià)值，從藥物發(fā)現(xiàn)領(lǐng)域的研究人員到應(yīng)對金融市場變化的量化分析師均受益匪淺。

AI 系統(tǒng)生成“token”（用于串聯(lián)輸出結(jié)果的數(shù)據(jù)單元）的速度越快，其影響力就越大。這正是 AI 工廠的關(guān)鍵所在，它提供了從“首 token 時(shí)延”到“首次價(jià)值實(shí)現(xiàn)時(shí)間”的最高效路徑。

AI 工廠正在重新定義現(xiàn)代基礎(chǔ)設(shè)施的經(jīng)濟(jì)學(xué)。它們通過大規(guī)模地將數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的輸出內(nèi)容（無論是 token、預(yù)測、圖像、蛋白質(zhì)還是其他形式的內(nèi)容）來生產(chǎn)智能。

AI 工廠有助于提升 AI 應(yīng)用流程中的三個(gè)關(guān)鍵環(huán)節(jié)：數(shù)據(jù)攝取、模型訓(xùn)練和高吞吐量推理。通過三大核心技術(shù)棧（AI 模型、加速計(jì)算基礎(chǔ)設(shè)施和企業(yè)級軟件），AI 工廠能夠更快、更精準(zhǔn)地生成 token。

下面將介紹 AI 工廠是如何幫助全球各地的企業(yè)把最寶貴的數(shù)字商品——數(shù)據(jù)轉(zhuǎn)化為創(chuàng)收潛力的。

從推理經(jīng)濟(jì)學(xué)到價(jià)值創(chuàng)造

在構(gòu)建 AI 工廠之前，理解推理經(jīng)濟(jì)學(xué)至關(guān)重要，推理經(jīng)濟(jì)學(xué)意味著如何平衡成本、能效和日益增長的 AI 需求。

吞吐量指模型可生成的 token 總量。延遲是模型在特定時(shí)間內(nèi)輸出的 token 數(shù)量，通常以首 token 時(shí)延（用戶輸入提示后，模型生成第一個(gè)輸出 token 所需的時(shí)間）和“首 token 后，每個(gè)輸出 token 的時(shí)延”（生成每個(gè)額外 token 所需的時(shí)間）來衡量。有效吞吐量（Goodput）是一個(gè)較新的指標(biāo)，用于衡量一個(gè)系統(tǒng)在滿足延遲目標(biāo)的同時(shí)可交付的有用輸出量。

用戶體驗(yàn)是所有軟件應(yīng)用的關(guān)鍵所在，AI 工廠也不例外。高吞吐量意味著更智能的 AI，低延遲則確保了及時(shí)的響應(yīng)。當(dāng)這兩項(xiàng)指標(biāo)實(shí)現(xiàn)合理平衡時(shí)，AI 工廠就可通過快速提供有用的輸出，帶來卓越的用戶體驗(yàn)。

例如，響應(yīng)時(shí)間為 0.5 秒的 AI 客服比 5 秒響應(yīng)的 AI 客服更具吸引力和價(jià)值，即使兩者最終生成的 token 數(shù)量相同。

企業(yè)可借此機(jī)會(huì)為其推理輸出設(shè)定具有競爭力的價(jià)格，從而提升每個(gè) token 的創(chuàng)收潛力。

衡量和可視化這種平衡頗具挑戰(zhàn)，而這正是“帕累托”前沿概念的用武之地。

AI 工廠輸出：高效 Token 的價(jià)值

在規(guī)?；渴?AI 時(shí)，帕累托前沿有助于直觀地表明如何在沖突的目標(biāo)（如快速響應(yīng)與同時(shí)服務(wù)更多用戶）之間達(dá)到最優(yōu)的平衡。

縱軸代表給定能耗下的吞吐效率（單位為 TPS，也就是每秒 token 數(shù)）。該數(shù)值越高，AI 工廠可同時(shí)處理的請求就越多。

橫軸表示單個(gè)用戶的 TPS，代表模型響應(yīng)用戶給出首個(gè)提示的用時(shí)。該數(shù)值越高，預(yù)期的用戶體驗(yàn)就越好。對于聊天機(jī)器人和實(shí)時(shí)分析工具等交互式應(yīng)用，更低的延遲和快速的響應(yīng)尤為重要。

帕累托前沿的最大值（顯示為曲線頂點(diǎn)）代表了特定運(yùn)行配置下的最佳輸出。目標(biāo)是為不同的 AI 工作負(fù)載和應(yīng)用找到吞吐量與用戶體驗(yàn)之間的最優(yōu)平衡。

頂尖的 AI 工廠通過加速計(jì)算來提升“每瓦 token 數(shù)”，即在優(yōu)化 AI 性能的同時(shí)大幅提高 AI 工廠和應(yīng)用的能效。

以上展示的動(dòng)畫對比了在NVIDIA Hopper GPU（配置為每用戶每秒 32 個(gè) token）與NVIDIA Blackwell Ultra GPU（配置為每用戶每秒 344 個(gè) token）上運(yùn)行時(shí)的用戶體驗(yàn)。在上述用戶體驗(yàn)設(shè)置下，Blackwell Ultra 實(shí)現(xiàn)了 10 倍以上的體驗(yàn)提升和近 5 倍的更高吞吐量，實(shí)現(xiàn)了最高達(dá) 50 倍的創(chuàng)收潛力。

AI 工廠的實(shí)際運(yùn)行

AI 工廠是一個(gè)系統(tǒng)，它包含了一套將數(shù)據(jù)轉(zhuǎn)化為智能的組件。它不一定是高端的本地?cái)?shù)據(jù)中心，也可能是在加速計(jì)算基礎(chǔ)設(shè)施上運(yùn)行的 AI 專用云或混合模型，甚至可能是同時(shí)優(yōu)化網(wǎng)絡(luò)并執(zhí)行邊緣推理的電信基礎(chǔ)設(shè)施。

任何配備了軟件的加速計(jì)算基礎(chǔ)設(shè)施，只要能通過 AI 將數(shù)據(jù)轉(zhuǎn)化為智能，本質(zhì)上均可視為 AI 工廠。

AI 工廠的組件包括了加速計(jì)算、網(wǎng)絡(luò)、軟件、存儲(chǔ)、系統(tǒng)以及工具和服務(wù)。

當(dāng)用戶向 AI 系統(tǒng)輸入提示時(shí)，AI 工廠的全棧系統(tǒng)就開始工作。它將提示 token 化，也就是將數(shù)據(jù)轉(zhuǎn)化為圖像、聲音、文字片段等語義單元。

每個(gè) token 被輸入到 GPU 驅(qū)動(dòng)的 AI 模型中，隨之在模型上進(jìn)行計(jì)算密集型推理，以生成最佳響應(yīng)。每個(gè) GPU 通過高速網(wǎng)絡(luò)和互連技術(shù)執(zhí)行并行處理，從而同時(shí)處理海量數(shù)據(jù)。

對于來自全球用戶的各種提示，AI 工廠都會(huì)運(yùn)行上述流程。這種實(shí)時(shí)推理能夠以工業(yè)級規(guī)模來生產(chǎn)智能。

由于 AI 工廠整合了整個(gè) AI 生命周期，該系統(tǒng)能夠持續(xù)改進(jìn)：記錄推理過程，標(biāo)記邊緣案例以進(jìn)行再訓(xùn)練，優(yōu)化循環(huán)隨時(shí)間逐漸收斂。這一切均無需人工干預(yù)，這就是“有效吞吐量”的實(shí)際體現(xiàn)。

面向 AI 工廠的 NVIDIA 全棧技術(shù)

AI 工廠將 AI 從一系列零散的實(shí)驗(yàn)轉(zhuǎn)化為可擴(kuò)展、可重復(fù)且可靠的創(chuàng)新與商業(yè)價(jià)值生成引擎。

NVIDIA 提供構(gòu)建 AI 工廠所需的所有組件，包括加速計(jì)算、高性能 GPU、高帶寬網(wǎng)絡(luò)和優(yōu)化的軟件。

例如，NVIDIA Blackwell GPU可以通過網(wǎng)絡(luò)連接，采用液冷技術(shù)提升能效，并由 AI 軟件統(tǒng)一編排。

開源推理平臺NVIDIA Dynamo為 AI 工廠提供了一種操作系統(tǒng)，該系統(tǒng)旨在以最高的效率和最低的成本加速并擴(kuò)展 AI。通過智能地路由、調(diào)度和優(yōu)化推理請求，Dynamo 確保每個(gè) GPU 周期都能得到充分利用，從而以峰值性能生產(chǎn) token。

NVIDIA Blackwell GB200 NVL72系統(tǒng)和NVIDIA InfiniBand網(wǎng)絡(luò)專為最大化“每瓦 token 吞吐量”而設(shè)計(jì)，使 AI 工廠在總吞吐量和低延遲方面均實(shí)現(xiàn)高效運(yùn)行。

通過驗(yàn)證優(yōu)化后的全棧解決方案，企業(yè)可以高效地構(gòu)建和維護(hù)前沿 AI 系統(tǒng)。全棧 AI 工廠助力企業(yè)實(shí)現(xiàn)卓越運(yùn)營，使他們能更快、更自信地駕馭 AI 的潛力。