我們非常自豪地宣布，AI 基礎(chǔ)設(shè)施性能達(dá)成了一項(xiàng)重大里程碑：通過(guò)使用 NVIDIA SCADA 編程模型、美光 9650 PCIe 6.0 SSD、Broadcom PEX90000 PCIe 6.0 交換機(jī)及 H3 平臺(tái) Falcon 6048 PCIe 6.0 服務(wù)器，我們實(shí)現(xiàn)了高達(dá) 2.3 億 IOPS 的性能。

規(guī)?；铀贁?shù)據(jù)訪問(wèn)(SCADA) 是一種安全的編程模型和技術(shù)堆棧，最早在BaM 系統(tǒng)架構(gòu)中的 GPU 主動(dòng)按需高吞吐量存儲(chǔ)訪問(wèn)技術(shù)中采用。這是存儲(chǔ)生態(tài)系統(tǒng)中的一項(xiàng)重大舉措，由 NVIDIA、美光等公司攜手開(kāi)發(fā)，旨在定義并實(shí)現(xiàn)一種新的基礎(chǔ)設(shè)施，以訪問(wèn)遠(yuǎn)超本地內(nèi)存限制的海量數(shù)據(jù)集。SCADA 直接使用 NVMe 設(shè)備來(lái)執(zhí)行加載/存儲(chǔ)操作，防止出現(xiàn)內(nèi)存不足錯(cuò)誤。此外，通過(guò)將存儲(chǔ)控制轉(zhuǎn)移到受信任的 DPU 上，SCADA 可持續(xù)保持高性能，并保護(hù)共享數(shù)據(jù)免受不安全計(jì)算節(jié)點(diǎn)的影響。

這一成果展示了 GPU 驅(qū)動(dòng)的存儲(chǔ)編排技術(shù)、下一代互連設(shè)備及業(yè)界速度頂尖的 SSD 結(jié)合時(shí)，所迸發(fā)出的強(qiáng)大性能。

美光 9650：全球速度頂尖的 SSD

美光 9650 SSD的重要意義不僅在于超高的原生性能，更在于通過(guò)速度、能效及互操作性之間的平衡，賦能下一代 AI 和高性能計(jì)算工作負(fù)載。作為全球首款 PCIe 6.0 SSD（美光在 2025 年 FMS 大會(huì)上率先宣布推出支持 AI 革命的 SSD 組合），美光 9650 實(shí)現(xiàn)了創(chuàng)紀(jì)錄的吞吐量和 IOPS，同時(shí)支持廣泛的生態(tài)系統(tǒng)集成。過(guò)去兩年，美光與 PCIe 6.0 領(lǐng)域的合作伙伴密切合作，進(jìn)行了大量互操作性測(cè)試，為今年的廣泛采用奠定了基礎(chǔ)。美光 9650 采用 PCIe 6.0 架構(gòu)，并針對(duì)小數(shù)據(jù)塊操作進(jìn)行了優(yōu)化，專為 NVIDIA SCADA 等 GPU 驅(qū)動(dòng)環(huán)境而構(gòu)建。

NVIDIA SCADA 可提升吞吐量以大規(guī)模加速 AI 工作負(fù)載

SCADA 代表了 NVIDIA 對(duì)于 GPU 驅(qū)動(dòng)存儲(chǔ)系統(tǒng)操作的構(gòu)想。通過(guò)在 GPU 和存儲(chǔ)設(shè)備之間建立直接連接，SCADA 可繞過(guò)傳統(tǒng)的 CPU 堵塞點(diǎn)，加速數(shù)據(jù)在 GPU 和存儲(chǔ)設(shè)備之間的傳輸。SCADA 是 NVIDIA 多年研究和工程開(kāi)發(fā)的成果，旨在使 GPU 能夠直接編排 NVMe 事務(wù)，為小塊數(shù)據(jù)操作提供前所未有的吞吐量和 IOPS。此類操作對(duì)于圖神經(jīng)網(wǎng)絡(luò)（用于藥物發(fā)現(xiàn)、社交網(wǎng)絡(luò)、知識(shí)圖譜等）等 AI 工作負(fù)載的大規(guī)模加速至關(guān)重要。

Broadcom 和 H3：業(yè)界前沿服務(wù)器平臺(tái)

NVIDIA GPU 依靠 H3 Falcon 6048 PCIe 6.0 服務(wù)器實(shí)現(xiàn)對(duì)存儲(chǔ)系統(tǒng)的編排。服務(wù)器集成了多臺(tái) Broadcom 的 PEX90000 PCIe 6.0 交換機(jī)。這些 PCIe 6.0 交換機(jī)可提供超低延遲、高帶寬，以及足夠的端口密度，實(shí)現(xiàn)了強(qiáng)大的可擴(kuò)展性，能夠滿足 GPU 與 NVMe 設(shè)備之間的無(wú)縫互聯(lián)需求。

這些 PCIe 6.0 交換機(jī)部署在基于 H3 平臺(tái)的 Falcon 6048 服務(wù)器中，從而將加速器和存儲(chǔ)設(shè)備整合到一個(gè)針對(duì) PCIe 6.0 優(yōu)化的單一架構(gòu)中。該系統(tǒng)支持安裝 44 塊 E1.S 規(guī)格美光 9650 SSD，每塊 SSD 通過(guò)一個(gè) PCIe 6.0 x4 接口連接到系統(tǒng)。H3 平臺(tái)支持高級(jí)遙測(cè)和診斷功能，簡(jiǎn)化了大規(guī)模 AI 架構(gòu)的管理。此外，該平臺(tái)還與各種 CPU、GPU、SSD（特別是美光 9650）、網(wǎng)卡和重定時(shí)器進(jìn)行了大量互操作性測(cè)試，確保這些硬件能夠可靠無(wú)憂地部署到平臺(tái)上。

現(xiàn)場(chǎng)演示：2.3 億 IOPS是如何實(shí)現(xiàn)的

我們?cè)?SC25 大會(huì)上的演示，不僅是相關(guān)硬件性能的證明，更是系統(tǒng)架構(gòu)發(fā)展中的一個(gè)里程碑。我們使用了一臺(tái)基于 H3 平臺(tái)打造的 Falcon 6048 服務(wù)器，配置如下：

44 塊美光 9650 PCIe 6.0 SSD (E1.S，7.68TB)

3 塊 NVIDIA H100 PCIe 5.0 GPU（搭載 NVL 96GB HBM3）

1 塊英特爾 PCIe 5.0 CPU

3 臺(tái) Broadcom PEX90000 PCIe 6.0 系列交換機(jī)（每臺(tái) 144 個(gè)通道）

通過(guò)運(yùn)行 SOL 基準(zhǔn)測(cè)試中的 SCADA 工作負(fù)載，我們實(shí)現(xiàn)了高達(dá) 2.3 億 IOPS 的 512B 隨機(jī)讀取性能。該基準(zhǔn)測(cè)試旨在衡量從一組 SSD 中訪問(wèn)數(shù)據(jù)時(shí)，GPU 線程所能實(shí)現(xiàn)的隨機(jī)讀取性能 (IOPS)。測(cè)試數(shù)據(jù)表明，當(dāng)從 1 塊 SSD 逐步增加到 44 塊 SSD 時(shí)，該系統(tǒng)具備線性擴(kuò)展能力。測(cè)試證明，GPU 驅(qū)動(dòng)的 I/O 與 PCIe 6.0 基礎(chǔ)設(shè)施相結(jié)合，可實(shí)現(xiàn)巨大的價(jià)值。

隨后我們調(diào)整了 SOL 基準(zhǔn)測(cè)試，同時(shí)運(yùn)行三個(gè)實(shí)例，隨機(jī)訪問(wèn) 44 塊 SSD，進(jìn)行 256 次迭代（每個(gè)隊(duì)列對(duì)的 I/O * 512），使用 8 個(gè)隊(duì)列對(duì)，以獲得最佳性能。

為何新架構(gòu)對(duì) AI 和高性能計(jì)算至關(guān)重要？

隨著 AI 模型日益復(fù)雜，推理過(guò)程使用的數(shù)據(jù)量持續(xù)增加，存儲(chǔ)可能會(huì)成為整個(gè)系統(tǒng)的瓶頸。SCADA 顛覆了傳統(tǒng)模式，讓 GPU 直接通過(guò)存儲(chǔ)設(shè)備驅(qū)動(dòng) I/O，從而降低了延遲，并最大限度提高了帶寬利用率。在 PCIe 6.0 和高性能 SSD 的支持下，這種新架構(gòu)能夠?yàn)橄蛄繑?shù)據(jù)庫(kù)、圖神經(jīng)網(wǎng)絡(luò)和大規(guī)模推理管線等工作負(fù)載提供實(shí)時(shí)訪問(wèn)海量數(shù)據(jù)的能力。

本文作者

Ryan Meredith數(shù)據(jù)中心工作負(fù)載工程總監(jiān)