12月15日，商湯科技基于在生成式AI與多模態(tài)交互領域的技術積累，正式發(fā)布Seko2.0——行業(yè)首個多劇集生成智能體。該智能體在多劇集視頻生成的一致性方面展現(xiàn)出顯著優(yōu)勢，其背后依托的是商湯自研的日日新Seko系列模型，包括SekoIDX、SekoTalk等圖像與視頻生成多模態(tài)模型所構建的技術底座。

商湯日日新Seko系列模型已完成對國產(chǎn)AI芯片寒武紀的適配，國產(chǎn)算力對AIGC核心場景的支持實現(xiàn)了從語言到多模態(tài)的關鍵跨越。這不僅是技術協(xié)同的深化，更是國產(chǎn)AI生態(tài)的重要完善，為視覺內(nèi)容的創(chuàng)新開發(fā)提供了更堅實、自主的底層支撐。

其中，商湯LightX2V框架設計了強兼容的國產(chǎn)化適配插件模式，可快速完成各類國產(chǎn)硬件的適配，目前已支持寒武紀等多款國產(chǎn)芯片；為了更好釋放國產(chǎn)算力優(yōu)勢，Seko系列模型與LightX2V框架在設計之初即引入了低比特量化、壓縮通信、稀疏注意力等硬件友好創(chuàng)新機制，將推理性能提升3倍以上。

今年10月，商湯科技與寒武紀已達成戰(zhàn)略合作，重點推進軟硬件的聯(lián)合優(yōu)化，并共同構建開放共贏的產(chǎn)業(yè)生態(tài)。此次與寒武紀在多模態(tài)生成模型的適配，是國產(chǎn)大模型與國產(chǎn)算力底座協(xié)同創(chuàng)新的重要實踐，讓更多開發(fā)者和企業(yè)能夠以更低成本享受到頂尖的多模態(tài)AI能力。

適配完成后，商湯科技與寒武紀還將在多個方向共同進一步展開深度優(yōu)化：

?持續(xù)優(yōu)化模型核心能力：將在長序列處理、低比特計算等方向持續(xù)優(yōu)化，在確保模型效果的基礎上進一步提升多模態(tài)生成的整體效率與響應速度。

?提升算力利用率與成本效率：通過算子融合、算子自動調(diào)優(yōu)等，推進更高效的計算與存儲方式，降低模型運行所需的資源占用，讓更多企業(yè)能夠以更低成本獲得高性能的多模態(tài)能力。

?強化大規(guī)模并行處理能力：基于計算與通信并行等優(yōu)化技術，優(yōu)化跨硬件的調(diào)度與通信策略，提升復雜任務在大規(guī)模集群中的運行效率與穩(wěn)定性。

?構建更靈活的資源管理機制：探索分層調(diào)度與異構資源協(xié)同技術，在保證性能的同時有效降低顯存壓力，使模型能夠在更廣泛的環(huán)境中穩(wěn)定運行。

通過雙方的深入?yún)f(xié)同優(yōu)化，將全面提升模型效率、顯著增強算力與資源利用率并優(yōu)化跨硬件環(huán)境的協(xié)同適配，進一步降低多模態(tài)AI的使用門檻并提升整體體驗。

商湯科技與寒武紀將共同推動國產(chǎn)AI應用生態(tài)的繁榮與發(fā)展，打磨更高效、更易用的階梯式產(chǎn)品體系，并面向廣大開發(fā)者構建更開放、友好的工具與生態(tài)，激發(fā)前沿應用的創(chuàng)新活力。