在GTC 2024期間，英偉達(dá)宣布了最新的Blackwell B200張量核心GPU，旨在為萬億參數(shù)的AI大型語言模型提供支持。Blackwell B200需要先進(jìn)的800Gbps網(wǎng)絡(luò)，完全符合在AI工作負(fù)載的AI網(wǎng)絡(luò)報(bào)告中概述的預(yù)測。隨著人工智能工作負(fù)載的流量預(yù)計(jì)每兩年增長10倍，這些人工智能工作負(fù)載預(yù)計(jì)將超過傳統(tǒng)前端網(wǎng)絡(luò)至少兩個(gè)速度升級周期。

雖然在OFC上討論了許多關(guān)于跨數(shù)據(jù)中心應(yīng)用的主題和創(chuàng)新解決方案，以及在同一領(lǐng)域內(nèi)擴(kuò)展加速器數(shù)量的計(jì)算互連，但本篇文章將主要關(guān)注數(shù)據(jù)中心內(nèi)的應(yīng)用。具體來說，它將專注于擴(kuò)展連接大型人工智能集群中各種加速節(jié)點(diǎn)所需的網(wǎng)絡(luò)，并使用1000個(gè)加速器。這個(gè)網(wǎng)絡(luò)在業(yè)界通常被稱為“人工智能后端網(wǎng)絡(luò)”(還提到；由一些供應(yīng)商提供；作為東西向流量的網(wǎng)絡(luò))。以下是展會(huì)上探討的一些主題和解決方案:

1)線性驅(qū)動(dòng)可插拔光學(xué)vs線性接收光學(xué)vs共封裝光學(xué)

可插拔光學(xué)器件預(yù)計(jì)將在系統(tǒng)級的功耗中占越來越大的比例。隨著云服務(wù)提供商構(gòu)建以高速光學(xué)擴(kuò)散為特征的下一代人工智能網(wǎng)絡(luò)，這個(gè)問題將進(jìn)一步放大。

在OFC 2023上，線性驅(qū)動(dòng)可插拔光學(xué)(LPOs)的引入通過去除DSP來實(shí)現(xiàn)顯著的成本和功耗節(jié)約，引發(fā)了一系列的測試活動(dòng)?？爝M(jìn)到OFC 2024，我們見證了近20場演示?；顒?dòng)期間的對話顯示了全行業(yè)對集成到最新51.2Tbps網(wǎng)絡(luò)交換芯片中的高質(zhì)量100G SerDes的熱情，許多人渴望利用這一進(jìn)步，能夠從光可插拔模塊中去除DSP。

然而，盡管令人興奮，但超大規(guī)模企業(yè)的猶豫表明，LPOs可能還沒有做好大規(guī)模采用的準(zhǔn)備。采訪強(qiáng)調(diào)，超大規(guī)模企業(yè)不愿承擔(dān)LPOs的資格認(rèn)證和潛在失敗的責(zé)任。相反，他們更傾向于讓轉(zhuǎn)換供應(yīng)商來承擔(dān)這些責(zé)任。

在此期間，預(yù)計(jì)51.2Tbps網(wǎng)絡(luò)芯片的早期部署將繼續(xù)利用可插拔光學(xué)，至少到明年年中。然而，如果LPOs 能夠展示大規(guī)模的安全部署，同時(shí)為超大規(guī)模企業(yè)提供顯著的功耗節(jié)省——使他們能夠在每個(gè)機(jī)架上部署更多的加速器——那么采用LPOs 的誘惑可能是不可抗拒的。最終，決定取決于LPOs 能否兌現(xiàn)這些承諾。

此外，半定時(shí)線性光學(xué)(HALO)，也被稱為線性接收光學(xué)(LROs)在展會(huì)上進(jìn)行了討論。LRO僅在發(fā)送端集成DSP芯片(而不是在LPOs的情況下完全移除它)。雖然LPOs在100G-PAM4 SerDes下可能是可行的，但在200G-PAM4 SerDes下可能變得具有挑戰(zhàn)性，這時(shí)可能需要LROs。

與此同時(shí)，協(xié)同封裝光學(xué)(CPOs)仍處于開發(fā)階段，Broadcom等大型行業(yè)參與者正在展示該技術(shù)的持續(xù)發(fā)展和進(jìn)步。雖然我們相信目前的LPO和LRO解決方案肯定會(huì)像CPOs一樣有更快的上市時(shí)間，但后者最終可能在未來的某個(gè)時(shí)候成為能夠?qū)崿F(xiàn)更高速度的唯一解決方案。

在結(jié)束本節(jié)之前，請不要忘記，在可能的情況下，銅將是比上面討論的所有光連接選項(xiàng)更好的選擇。簡而言之，盡可能使用銅，必要時(shí)使用光學(xué)。有趣的是，液體冷卻可以促進(jìn)機(jī)架內(nèi)加速器的致密化，從而增加銅的使用，以連接同一機(jī)架內(nèi)的各種加速器節(jié)點(diǎn)。最近在GTC上發(fā)布的NVIDIA GB200 NVL72完美地說明了這一趨勢。

2)光電路開關(guān)

OFC 2024帶來了一些有趣的光學(xué)電路開關(guān)(OCS)相關(guān)公告。OCS可以帶來許多好處，包括高帶寬和低網(wǎng)絡(luò)延遲，以及顯著的資本支出節(jié)省。這是因?yàn)镺CS開關(guān)可以顯著減少網(wǎng)絡(luò)中所需的電氣開關(guān)數(shù)量，從而消除了與電氣開關(guān)相關(guān)的昂貴的光-電-光轉(zhuǎn)換。此外，與電氣開關(guān)不同，OCS開關(guān)與速度無關(guān)，當(dāng)服務(wù)器采用下一代光收發(fā)器時(shí)，不需要升級。

然而，OCS是一項(xiàng)新技術(shù)，到目前為止，只有經(jīng)過多年開發(fā)的谷歌能夠在其數(shù)據(jù)中心網(wǎng)絡(luò)中大規(guī)模部署OCS。此外，OCS交換機(jī)可能需要改變光纖的安裝底座。因此，我們?nèi)栽谟^察，除了谷歌之外，是否有其他云服務(wù)提供商計(jì)劃效仿，在網(wǎng)絡(luò)中采用OCS交換機(jī)。

3) 3.2 Tbps的路徑

在OFC 2023上，推出了許多基于200G / lambda的1.6Tbps光學(xué)元件和收發(fā)器。在OFC 2024上，我們見證了這種1.6 Tbps光學(xué)器件的進(jìn)一步技術(shù)演示。雖然我們預(yù)計(jì)到2025/2026年才能實(shí)現(xiàn)1.6Tbps的批量出貨量，但業(yè)界已經(jīng)開始努力探索實(shí)現(xiàn)3.2 Tbps的各種途徑和選擇。

考慮到從100G-PAM4電子通道速度過渡到200G-PAM4所遇到的復(fù)雜性，最初的3.2 Tbps解決方案可能在OSFP-XD外形因素中使用16條200G-PAM4通道，而不是8條400G-PAMx通道。值得注意的是，OSFP-XD最初是在兩年前的OFC 2022上進(jìn)行探索和演示的，由于人工智能集群部署的緊迫性，它可能會(huì)重新投入使用。與1.6Tbps相比，OSFP-XD外形尺寸的3.2Tbps解決方案提供了更高的面板密度和成本節(jié)約。最終，業(yè)界有望找到一種基于8通道400G-PAMx SerDes實(shí)現(xiàn)3.2 Tbps的方法，盡管可能需要一些時(shí)間才能實(shí)現(xiàn)這一目標(biāo)。

總之，OFC 2024展示了許多潛在的解決方案，旨在解決共同的挑戰(zhàn):成本、功率和速度。我們預(yù)計(jì)不同的超大規(guī)模廠商將做出不同的選擇，從而導(dǎo)致市場多樣化。然而，關(guān)鍵的考慮因素之一是上市時(shí)間。值得注意的是，AI后端網(wǎng)絡(luò)的更新周期通常在18到24個(gè)月左右，與用于連接通用服務(wù)器的傳統(tǒng)前端網(wǎng)絡(luò)的5到6年相比，這要短得多。

原文轉(zhuǎn)自：Reflecting on GTC and OFC 2024: No One-Size-Fits-All but Time to Market is Key! - Dell'Oro Group

審核編輯 黃宇