星環(huán)科技Sophon LLMOps全面支持DeepSeek R1版本
星環(huán)科技近日宣布，其企業(yè)級大模型運營管理平臺Sophon LLMOps現(xiàn)已全面支持DeepSeek R1的全參版本以及蒸餾版本。這一消息標志著星環(huán)科技在AI大模型管理領(lǐng)域邁出了重要一步。
Sophon LLMOps作為一款功能強大的企業(yè)級平臺，致力于為用戶提供全面的大模型運營管理解決方案。該平臺支持大模型與小模型的統(tǒng)一管理，能夠輕松納管開源及商業(yè)化大模型，滿足用戶多樣化的需求。同時，Sophon LLMOps還具備底層國內(nèi)外GPU/NPU(ARM/x86)異構(gòu)算力的混合部署能力，實現(xiàn)了資源的精細化切分及高效調(diào)度，進一步提升了系統(tǒng)的靈活性和性能。
此外，Sophon LLMOps還提供了模型及應(yīng)用效果評估、全局狀態(tài)監(jiān)控及預(yù)警等功能，幫助用戶實時掌握模型運行狀況，確保系統(tǒng)的穩(wěn)定運行。這些功能的加入，使得Sophon LLMOps成為了一款真正意義上的企業(yè)級大模型運營管理平臺，為用戶提供了從模型部署到運行管理的全方位支持。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
星環(huán)科技
+關(guān)注
關(guān)注
0文章
37瀏覽量
2902 -
大模型
+關(guān)注
關(guān)注
2文章
3771瀏覽量
5272 -
DeepSeek
+關(guān)注
關(guān)注
2文章
839瀏覽量
3400
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
百度騰訊搶灘布局！DeepSeek-R1升級和開源背后，國產(chǎn)AI的逆襲之路
電子發(fā)燒友網(wǎng)報道（文/李彎彎）日前，DeepSeek官方宣布DeepSeek-R1模型已完成小版本試升級，當(dāng)前版本為DeepSeek-R1-
DeepSeek爆火一周年的寂靜
，爭先恐后地展示技術(shù)進步。而另一邊，則是DeepSeek新模型缺席春節(jié)假期，與一年前R1橫空出世、引爆全球關(guān)注的高光姿態(tài)，形成了鮮明對比。 ? 恰逢R1爆火一周年的時刻，我們回溯了過去一年De
中科曙光AI超集群系統(tǒng)和scaleX640超節(jié)點等產(chǎn)品全面適配DeepSeek V3.2
層實現(xiàn)“跨層協(xié)同”，曙光AI超集群系統(tǒng)、scaleX640超節(jié)點等產(chǎn)品0day完成對DeepSeek新版本的深度適配與調(diào)優(yōu)，支持各行各業(yè)客戶進行全量落地部署。
曙光AI超集群系統(tǒng)全面支持DeepSeek-V3.2-Exp
9月29日，DeepSeek-V3.2-Exp正式發(fā)布并開源，引入創(chuàng)新的稀疏Attention架構(gòu)?；谥袊讉€AI計算開放架構(gòu)，芯片層、軟件層、模型層實現(xiàn)“跨層協(xié)同”，使得曙光AI超集群系統(tǒng)完成對DeepSeek新版本的深度適
DeepSeek R1 MTP在TensorRT-LLM中的實現(xiàn)與優(yōu)化
TensorRT-LLM 在 NVIDIA Blackwell GPU 上創(chuàng)下了 DeepSeek-R1 推理性能的世界紀錄，Multi-Token Prediction (MTP) 實現(xiàn)了大幅提速
如何在NVIDIA Blackwell GPU上優(yōu)化DeepSeek R1吞吐量
開源 DeepSeek R1 模型的創(chuàng)新架構(gòu)包含多頭潛在注意力機制 (MLA) 和大型稀疏混合專家模型 (MoE)，其顯著提升了大語言模型 (LLM) 的推理效率。
速看！EASY-EAI教你離線部署Deepseek R1大模型
1.Deepseek簡介DeepSeek-R1，是幻方量化旗下AI公司深度求索（DeepSeek）研發(fā)的推理模型。DeepSeek-R1采用強化學(xué)習(xí)進行后訓(xùn)練，旨在提升推理能力，尤其擅
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗】+混合專家
感謝電子發(fā)燒友提供學(xué)習(xí)Deepseek核心技術(shù)這本書的機會。
讀完《Deepseek核心技術(shù)揭秘》，我深受觸動，對人工智能領(lǐng)域有了全新的認識。了解Deepseek-R1 、Deepseek
發(fā)表于 07-22 22:14
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗】--全書概覽
講解Deepseek的使用方法
第三章 深入剖析Deepseek-V3的模型架構(gòu)、訓(xùn)練框架、推理階段優(yōu)化、后訓(xùn)練優(yōu)化等關(guān)鍵技術(shù)
第四章關(guān)于DeepSeek-R1的技術(shù)剖析
第五章 從宏觀角度分析
發(fā)表于 07-21 00:04
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗】書籍介紹+第一章讀后心得
的展望，大模型的訓(xùn)練方法、推理部署，到 GPU 硬件及推理模型的發(fā)展趨勢，以前瞻性的視角為讀者描繪了大模型的發(fā)展藍圖。
技驚四座的DeepSeek -R1模型發(fā)布歷程
2025年年初，全球人工智能領(lǐng)域
發(fā)表于 07-17 11:59
Arm Neoverse N2平臺實現(xiàn)DeepSeek-R1滿血版部署
頗具優(yōu)勢。Arm 攜手合作伙伴，在 Arm Neoverse N2 平臺上使用開源推理框架 llama.cpp 實現(xiàn) DeepSeek-R1 滿血版的部署，目前已可提供線上服務(wù)。
NVIDIA Blackwell GPU優(yōu)化DeepSeek-R1性能 打破DeepSeek-R1在最小延遲場景中的性能紀錄
本文將探討 NVIDIA TensorRT-LLM 如何基于 8 個 NVIDIA Blackwell GPU 的配置，打破 DeepSeek-R1 在最小延遲場景中的性能紀錄：在 GTC 2025
【書籍評測活動NO.62】一本書讀懂 DeepSeek 全家桶核心技術(shù)：DeepSeek 核心技術(shù)揭秘
2025年年初，DeepSeek 成為全球人工智能（AI）領(lǐng)域的焦點，其DeepSeek-V3 和DeepSeek-R1 版本在行業(yè)內(nèi)引發(fā)了結(jié)構(gòu)性震動。
發(fā)表于 06-09 14:38
DeepSeek開源新版R1 媲美OpenAI o3
DeepSeek“悄悄”地又放了一個大招，DeepSeek開源了R1最新0528版本。盡管DeepSeek目前還沒有對該
評論