近日,海光DCU完成Qwen3.5-397B MoE旗艦多模態(tài)模型、Qwen3.5-35B-A3B MoE多模態(tài)模型全量適配、精度對齊與推理部署驗證。本次適配依托FlagOS專屬vLLM-plugin-FL多芯片插件實現(xiàn)落地。
FlagOS是一款專為異構(gòu)AI芯片打造的開源、統(tǒng)一系統(tǒng)軟件棧,支持AI模型一次開發(fā)即可無縫移植至各類硬件平臺,大幅降低遷移與適配成本。FlagOS專屬vLLM-plugin-FL多芯片插件完美兼容海光DCU芯片,全程無需修改模型接口、推理引擎邏輯與開發(fā)者調(diào)用代碼,通過底層插件和算子替換實現(xiàn)無縫適配,大幅降低遷移成本,真正做到開箱即用。
目前兩大版本模型在海光DCU算力平臺實現(xiàn)無縫穩(wěn)定運行,進一步夯實國產(chǎn)算力支撐大模型落地的核心能力,為行業(yè)提供開箱即用的國產(chǎn)化部署方案。
高效攻克適配瓶頸,多模態(tài)能力完整落地
Qwen3.5-35B-A3B參數(shù)350億、激活參數(shù)30億,原生支持262144 tokens超長上下文,采用門控Delta網(wǎng)絡(luò)融合MoE架構(gòu),具備統(tǒng)一視覺/語言理解能力,覆蓋圖像、視頻多模態(tài)輸入,在推理、編碼、Agent及視覺理解等核心場景實現(xiàn)全面躍升。
面對如此復(fù)雜的模型架構(gòu)與多模態(tài)能力,精度對齊等技術(shù)挑戰(zhàn)尤為突出。海光DCU依托底層軟硬件優(yōu)化實力,基于眾智FlagOS全棧技術(shù)支撐,高效攻克適配瓶頸。經(jīng)驗證,Qwen3.5模型在海光DCU上推理穩(wěn)定。
零改造部署,降低落地門檻
FlagOS將核心算子、編譯器等組件內(nèi)置模型框架,加載時自動生效,配合標準化Docker鏡像與一鍵命令,徹底解決環(huán)境配置、性能優(yōu)化等痛點。
開發(fā)者可通過官方文檔獲取部署源碼,也可直接拉取魔搭、HuggingFace等社區(qū)的海光專屬模型鏡像、文件,無需額外遷移即可快速啟用。遷移版Qwen3.5-FlagOS模型文件、代碼和鏡像,可一鍵直達部署資源:
HuggingFace平臺:
https://huggingface.co/FlagRelease/Qwen3.5-35B-A3B-hygon-FlagOS
魔搭平臺:
https://modelscope.cn/models/FlagRelease/Qwen3.5-35B-A3B-hygon-FlagOS
全棧技術(shù)協(xié)同,精度性能雙達標
眾智FlagOS構(gòu)建的統(tǒng)一AI系統(tǒng)軟件棧,為海光DCU提供全鏈路支撐,F(xiàn)lagRelease工具可半自動支撐實現(xiàn)適配、評測、打包全流程,極速推進適配落地,將傳統(tǒng)數(shù)周周期壓縮至數(shù)天。
經(jīng)ERQA、AIME、GPQA Diamond等權(quán)威評測集驗證,海光DCU適配后的Qwen3.5系列模型,在視覺理解、復(fù)雜推理、語言編碼等核心能力上,與原生版本精度完全對齊,無業(yè)務(wù)效果折損,適配質(zhì)量達到行業(yè)頂尖水平。
此次適配實現(xiàn)“一次開發(fā)、多芯復(fù)用”,凸顯出國產(chǎn)算力承接高端大模型任務(wù)的常態(tài)化。海光DCU將持續(xù)深耕AI算力軟硬件優(yōu)化,聯(lián)合FlagOS等生態(tài)伙伴,拓展更多主流大模型適配場景,打造穩(wěn)定高效的國產(chǎn)算力底座,助力AI技術(shù)規(guī)?;⑵栈莼涞?。
-
模型
+關(guān)注
關(guān)注
1文章
3808瀏覽量
52241 -
DCU
+關(guān)注
關(guān)注
0文章
20瀏覽量
3190 -
海光信息
+關(guān)注
關(guān)注
0文章
46瀏覽量
2729
發(fā)布評論請先 登錄
海光DCU Day0適配百度文心ERNIE-Image文生圖模型
阿里云發(fā)布新一代千問Qwen3.6-Plus,媲美Claude系列最強模型
海光DCU完成階躍星辰基座模型Step 3.5 Flash推理適配
天數(shù)智芯完成阿里云通義千問Qwen3.5系列多模態(tài)模型全量適配
沐曦股份曦云C系列GPU全面適配通義千問Qwen3.5三款新模型
美格智能高算力AI模組+Qwen3.5,打造端側(cè)最強AI智能體
摩爾線程MTT S5000全面適配Qwen3.5三款新模型
阿里巴巴開源全新一代大模型千問Qwen3.5-Plus
沐曦股份曦云C系列GPU深度適配通義千問Qwen3.5模型
太初元碁:40+AI大模型全覆蓋,新版本即發(fā)即適配、上線即可用,實現(xiàn)國產(chǎn)“芯”速度
摩爾線程快速完成對Qwen3.5模型全面適配
基于米爾瑞芯微RK3576開發(fā)板的Qwen2-VL-3B模型NPU多模態(tài)部署評測
海光DCU率先展開文心系列模型的深度技術(shù)合作 FLOPs利用率(MFU)達47%
愛芯通元NPU適配Qwen2.5-VL-3B視覺多模態(tài)大模型
海光DCU完成Qwen3.5多模態(tài)MoE模型全量適配
評論