AI的訓練和推理共同鑄就了其無與倫比的處理能力。在AI訓練方面，GPU因其出色的并行計算能力贏得了業(yè)界的青睞，成為了當前AI大模型最熱門的芯片；而在 AI 推理方面，具備卓越通用性和靈活性的CPU本應發(fā)揮關鍵作用，但其重要性卻常常被忽視。

“對于那些希望將大語言模型（LLM）集成到產(chǎn)品和服務中的企業(yè)和開發(fā)者來說，CPU 通常是首選”。Arm 中國區(qū)業(yè)務全球副總裁鄒挺在接受采訪時表示。為了適應AI推理的應用落地，CPU有針對性的優(yōu)化必不可少，Arm Neoverse平臺通過增加如SVE2指令集使得AI 推理具有更好的性能和效率。

Arm中國區(qū)業(yè)務全球副總裁 鄒挺

CPU對于AI推理的重要性

CPU長期以來廣泛應用于傳統(tǒng)的AI和機器學習任務，其通用性和靈活性使其在部署AI推理時更具優(yōu)勢。鄒挺表示，在AI場景落地初期，專用AI處理器的開發(fā)周期較長，因此，高能效CPU 自然成為了推理的核心；隨著 AI 技術的深入發(fā)展和應用場景的多樣化，定制化專用 AI 加速器應運而生。在這一過程中，高能效的CPU不僅作為核心控制單元，還與 GPU、NPU、FPGA、ASIC 等異構單元協(xié)同工作，管理和調度系統(tǒng)資源，成為AI推理的“靈魂捕手”。

相比于單純依賴 GPU 的高成本和高功耗，CPU在推理過程中具有更高的能效比。CPU 的設計更適合處理多任務負載，并且無需復雜的冷卻和電力解決方案。這使得CPU在大規(guī)模部署中能夠以更低的成本運行，特別是在資源受限的環(huán)境中，其低功耗的特性尤為顯著。這對于那些需要長期、穩(wěn)定運行的 AI 應用來說，是一個可持續(xù)且經(jīng)濟高效的選擇。

Arm Neoverse平臺集成SVE2技術，對AI計算至關重要

Arm Neoverse CPU在 AI 推理中展現(xiàn)了其獨特優(yōu)勢，這一點要從其技術底層開始剖析。

鄒挺分析，Armv9架構已經(jīng)引入 Arm Neoverse 平臺，在Armv9架構中Arm 集成SVE2（可擴展向量擴展）指令集。SVE2 作為一種可擴展的向量處理技術，允許處理器同時執(zhí)行多個數(shù)據(jù)元素操作，從而提供了更高效的向量計算和AI 硬件加速。

SVE2 在AI推理中的一個關鍵應用是矩陣運算。矩陣乘法是許多AI任務中的常見計算，而 SVE2 向量指令可以同時處理多個數(shù)據(jù)元素，使矩陣乘法能夠以向量化的方式進行，從而提高了計算效率。

例如，SVE2 中的 FMMLA 指令可以實現(xiàn) FP32 格式下的矩陣乘法，BFMMLA 指令能夠在 BF16 格式下進行高效運算，而 UMMLA、SMMLA 等指令則優(yōu)化了 INT8 格式下的矩陣運算。通過這些指令和硬件加速功能，AI 推理在Arm架構上能夠實現(xiàn)更高效的矩陣運算和更優(yōu)的能效比。

這種技術不僅提升了 AI 推理中矢量運算的效率，尤其是在深度學習和自然語言處理（NLP）等核心任務上，加快了推理速度，并在能效表現(xiàn)上進行了優(yōu)化。通過 SVE2 的支持，Arm Neoverse CPU 可以在邊緣計算和資源受限的環(huán)境中高效運行，從而減少對 GPU 和其他硬件資源的依賴。

基于Arm Neoverse的CPU顯著提升推理性能

亞馬遜云服務（AWS）、微軟、Google和甲骨文 (Oracle) 等全球最大的 AI 頭部云服務提供商們都通過 Arm Neoverse 進行通用計算和基于 CPU 的 AI 推理與訓練。Arm Neoverse 不僅為這些頭部云服務商提供了定制芯片的靈活性，還優(yōu)化了嚴苛的工作負載，確保在每瓦功率的使用上實現(xiàn)更高的計算效率。

例如，基于Arm架構的AWS Graviton，與其他同行業(yè)產(chǎn)品相比，Amazon Sagemaker 的 AI 推理性能提高了 25%，Web 應用程序提高了 30%，數(shù)據(jù)庫提高了 40%，效率則提升了 60%。基于 Arm 架構的 Google Cloud Axion，與傳統(tǒng)架構相比，其性能和能效分別提高了 50% 和 60%，可為基于 CPU 的 AI 推理和訓練、YouTube、Google 地球等服務提供支持。

基于 Arm Neoverse N2 架構的阿里云倚天 710，在運行 Llama 3 和 Qwen1.5 等業(yè)內標準大語言模型時展現(xiàn)了極高的靈活性和擴展性。通過與 Arm 軟件團隊的緊密合作，阿里云對 llama.cpp 中的 int4 和 int8 GEMM 內核進行了優(yōu)化，特別是利用了 SMMLA 指令來提高計算效率。在 ecs.g8y.16xlarge 實例上（配置64個 vCPU 和 256GB 內存），多次實驗結果顯示，每秒處理的詞元數(shù)量增加了 2.7 倍。此外，詞元生成的吞吐量在處理更大批次數(shù)據(jù)時最多提高了 1.9 倍。詞元生成的延遲對于交互式 LLM 部署非常關鍵。實驗表明，阿里云倚天 710 在單次操作和批量處理場景下均能保持 100 毫秒以內的延遲目標，這符合人們每秒 5-10 個單詞的典型閱讀速度。因此，這一架構非常適合常規(guī)體量的 LLM 部署。

與其他服務器 CPU 的對比中，阿里云倚天 710 的優(yōu)勢顯著。在與 Intel Icelake 和 Sapphire Rapids 的對比中，倚天 710 在提示詞處理性能上提升了 3.2 倍，詞元生成性能則提升了 2.2 倍。這表明，倚天 710 不僅在處理性能上有明顯優(yōu)勢，其成本效益也極具吸引力，成為了 LLM 推理應用中的理想選擇。

小模型的推理優(yōu)化

越來越多的企業(yè)將開發(fā)重心轉向小語言模型（Small Language Models, SLM）或小型 LLM，小模型尤其是在處理對話、翻譯、摘要、分類等任務時，效率更高且耗能更少。與需要高昂的基礎設施成本和復雜漫長的開發(fā)部署周期的大語言模型相比，這些模型在訓練過程中消耗的電力也相對較低，適合更靈活、可定制的應用場景。

鄒挺分析，在提升模型效率方面，量化技術是一個重要的優(yōu)化手段。通過將神經(jīng)網(wǎng)絡的權重降低到更低的精度，量化技術顯著減少了模型的內存和計算需求。比如，將16位浮點數(shù)壓縮為4位整數(shù)，可以大幅降低內存占用和計算成本，同時對精度的影響微乎其微。

以 Llama 2 模型為例，原本擁有 70 億參數(shù)的模型在量化后，從 13.5 GB 縮減至 3.9 GB；130 億參數(shù)的版本從 26.1 GB 縮減至7.3 GB；而700 億參數(shù)模型則從 138 GB 減少至 40.7 GB。這些優(yōu)化顯著提升了模型的運行速度，同時降低了在 CPU 上運行的成本。

結合高效的 Arm CPU 技術，這些優(yōu)化讓輕量級模型可以直接在移動設備上運行，不僅提升了性能，還實現(xiàn)了數(shù)據(jù)隱私保護和用戶體驗的優(yōu)化。

他進一步表示，在針對 FunASR 語音識別模型的優(yōu)化方面，Arm 充分利用了Armv9 架構中的 SVE2 指令、BF16 數(shù)據(jù)類型等特性，并引入了動態(tài)量化技術，使得 FunASR 模型在 Arm Neoverse 服務器上實現(xiàn)了高效運行。FunASR 是阿里巴巴達摩院開發(fā)的開源大模型，基于 Paraformer 架構，具備語音識別、語音端點檢測、標點恢復、語言模型、說話人驗證和分離等多種功能。

SVE2 指令集在Arm架構處理器中，對 INT8 數(shù)據(jù)的并行處理非常高效，一次指令周期可以完成 16 個 INT8 的乘累加操作。因此，在對模型執(zhí)行效率有更高要求的場景下，可以采用 INT8 動態(tài)量化來提升效率。此外，INT8 和 BF16 的數(shù)據(jù)格式組合也進一步優(yōu)化了模型計算效率，在保持精度的前提下，實現(xiàn)了 1. 5 倍的效率提升。這樣的優(yōu)化確保了 FunASR 等大模型在 Arm 架構上的高效運行，使其能夠在特定領域 AI 應用中發(fā)揮重要作用。

不斷優(yōu)化AI推理的性能與能耗

當前全球數(shù)據(jù)中心每年消耗約460太瓦時的電力，隨著AI技術和應用的快速發(fā)展，這一數(shù)字預計在2030年將增長至當前的三倍。目前，數(shù)據(jù)中心中約有85%的AI負載用于推理任務，這些任務涵蓋了眾多應用和設備。

Arm Neoverse的架構不僅提升了云端計算的性能和能效，還為大規(guī)模云服務提供商和數(shù)據(jù)中心優(yōu)化了TCO。例如，基于Arm Neoverse 平臺的 AWS Graviton3 在AI推理過程中節(jié)約了50%的成本。

據(jù)悉，Arm在Neoverse的產(chǎn)品線目前有V、N、E三個平臺系列，其中Neoverse V與Neoverse N又進一步推出計算子系統(tǒng)CSS產(chǎn)品，為想快速推出產(chǎn)品，掌握人工智能機遇的合作伙伴，縮減產(chǎn)品開發(fā)時間，加速產(chǎn)品上市進程。

迄今為止，合作伙伴基于Arm架構的芯片出貨量已達到 3,000 億顆，這一龐大的市場基礎使Arm能夠支持各種AI 技術領域的發(fā)展，并成為推動AI創(chuàng)新的重要平臺。AI 推理正從集中在云端擴展到更多的邊緣應用，以實現(xiàn)更廣泛的覆蓋和更高效的響應。

鄒挺說道: “從移動設備到 AI 領域，高性能和出色能效始終是Arm的DNA。Arm 將繼續(xù)推動 AI 的技術變革，帶來更高效、更可持續(xù)的計算解決方案，確保我們的技術能夠支持合作伙伴在 AI 時代的多樣化需求，同時推動 AI 技術在更多領域的廣泛落地和普及?！?br />