文：Gartner研究副總裁周玲

中國企業(yè)機構已逐步在生產環(huán)境中運行或者計劃運行大語言模型，但在AI基礎設施的生產部署與高效運營方面仍面臨諸多挑戰(zhàn)。目前，中國正加速提升其生成式AI能力，覆蓋大語言模型、軟件開發(fā)、生態(tài)集成與硬件革新。隨著DeepSeek、通義千問（Qwen）等高性價比模型日益普及和本地部署的深入推進，越來越多的中國企業(yè)將重心放在數(shù)據(jù)隱私、數(shù)據(jù)主權、安全性、可擴展性和低延遲等核心需求上。2025年Gartner首席信息官（CIO）和技術高管調研顯示，2025年中國企業(yè)計劃大幅增加在生成式AI和AI領域的技術投資，其平均增幅分別達到40.3%和33.3%（見圖1），這一數(shù)據(jù)表明，相關技術將在短期內得到廣泛采用。

Gartner預測，到2028年，中國70%的大型企業(yè)將為大語言模型在AI基礎設施上的部署建立完善的治理框架，而2025年這一比例不足10%。

然而，要成功實現(xiàn)大語言模型在AI基礎設施中的生產部署并非易事，需要制定復雜的技術、運維和治理戰(zhàn)略，以確保模型達到性能指標（例如GPU算力利用率），同時保障數(shù)據(jù)安全與合規(guī)。

中國企業(yè)與全球企業(yè)的一個關鍵區(qū)別在于，其更傾向于在本地AI基礎設施環(huán)境中部署大語言模型，這對I&O團隊提出了更高要求，需要他們對重要AI基礎設施技術棧有更深入的理解。AI基礎設施是指AI應用構建、測試、訓練與部署所需的最新、最先進的硬軟件技術棧。

為了在新的AI基礎設施上成功實現(xiàn)大語言模型的生產部署，企業(yè)應從以下三個方面著手：構建全面的生產發(fā)布策略；制定健全的治理框架；并加強與法律、安全、AI、數(shù)據(jù)團隊及生態(tài)伙伴的緊密協(xié)作。這些舉措為大語言模型在生產環(huán)境中的高效運行提供了堅實的保障。

構建全面的部署戰(zhàn)略

隨著企業(yè)開始在AI基礎設施上部署大語言模型，I&O領導者所面臨的壓力日益增大，需要幫助AI開發(fā)人員和工程師在全企業(yè)范圍內以更快的速度、更大的規(guī)模來推進AI項目的開發(fā)和部署。與此同時，針對不同用戶和應用場景不斷涌現(xiàn)的各種AI工具和服務，顯著增加了評估與選擇的難度和復雜性。此外，傳統(tǒng)的生產發(fā)布策略與流程已無法有效支持大語言模型在AI基礎設施中的生產部署需求。因此，I&O領導者亟需制定完善的生產發(fā)布戰(zhàn)略，以保障部署工作的順利進行。

然而，要為大語言模型在AI基礎設施上的部署構建一套穩(wěn)健的戰(zhàn)略，就需要從整體視角出發(fā)，包括適配AI基礎設施環(huán)境、為特定場景設計架構、實施技術優(yōu)化以及確保符合監(jiān)管框架要求。

中國的I&O領導者應：

使部署策略與企業(yè)數(shù)字化轉型戰(zhàn)略保持一致

按照使用場景構建多層次部署架構以優(yōu)化性能

優(yōu)化模型與推理以提升效率

使用云原生技術實現(xiàn)靈活調度

加強合規(guī)并強化安全管理

建立全鏈路監(jiān)控與成本控制機制

制定穩(wěn)健的部署治理流程

大語言模型已經從研究原型轉變?yōu)槎喾N任務的關鍵核心組件，包括客戶支持AI智能體、法律文檔摘要、代碼生成或測試工具、企業(yè)級代理型AI用例以及多模態(tài)應用等領域。然而，大語言模型在AI基礎設施中的生產部署需要解決如下幾個固有挑戰(zhàn)：

資源密集

非確定性行為與提示敏感

延遲與吞吐限制

安全與隱私

因此，為了成功將大語言模型部署到AI基礎設施的生產環(huán)境中，中國的I&O部門必須建立一套穩(wěn)健的治理流程，采取切實可行的步驟促進資源管理、持續(xù)監(jiān)控以及敏捷更新。比如：

提前規(guī)劃并進行試點

確定產品部署位置

建立高效的資源管理

在大語言模型生產發(fā)布流程中嵌入安全治理與提示治理

管理版本并執(zhí)行A/B測試

采用持續(xù)集成/持續(xù)交付流程

實施生產監(jiān)控

促進關鍵利益相關方之間的緊密協(xié)作

部署大語言模型十分復雜，要求業(yè)務、法務、安全以及AI與數(shù)據(jù)團隊以協(xié)同一致的方式共同工作。過去各自獨立的部門如今必須從大語言模型項目的啟動階段就開展合作，以確保技術開發(fā)能夠反映法律和安全方面的考量。建立跨職能的AI治理委員會至關重要，成員應包括法務、安全、數(shù)據(jù)工程與數(shù)據(jù)科學、產品管理、軟件開發(fā)以及高管層的代表。

文章來源：Gartner