基于Spark的資源調(diào)度算法研究
大?。?/span>0.57 MB 人氣： 2017-11-27 需要積分：1
標(biāo)簽：調(diào)度算法(11944)SPARK(19784)
Spark作為流行的分布式數(shù)據(jù)處理框架，其資源的調(diào)度方式和資源的利用率直接關(guān)系到集群計(jì)算處理的效率和速度。針對Spark資源調(diào)度問題，在Spark自身考慮的資源因素內(nèi)存和空余核數(shù)下，提出新的調(diào)度算法。算法通過實(shí)時監(jiān)視工作節(jié)點(diǎn)資源利用情況，增加對節(jié)點(diǎn)CPU處理速度和CPU剩余利用率的考慮，重新調(diào)度與分配資源，為Spark作為Web服務(wù)高并發(fā)請求、低延遲響應(yīng)提供優(yōu)化，還可以減少傳統(tǒng)方式?jīng)]有考慮的資源因素導(dǎo)致出現(xiàn)的資源利用傾斜現(xiàn)象，提高資源的利用率。實(shí)驗(yàn)表明，改進(jìn)的資源調(diào)度算法有較好的效果。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
基于Spark的資源調(diào)度算法研究下載
相關(guān)電子資料下載
- 天數(shù)智芯主導(dǎo)的DeepSpark開源社區(qū)發(fā)布百大應(yīng)用開放平臺24.06版本 436
- spark運(yùn)行的基本流程 91
- Spark基于DPU的Native引擎算子卸載方案 180
- 百度前高管景鯤與朱凱華創(chuàng)立AI搜索公司，Genspark產(chǎn)品驚艷上線 458
- 關(guān)于Spark的從0實(shí)現(xiàn)30s內(nèi)實(shí)時監(jiān)控指標(biāo)計(jì)算 111
- “Spark+Hive”在DPU環(huán)境下的性能測評 | OLAP數(shù)據(jù)庫引擎選型白皮書（24版）DPU部分 212
- 芯科科技和Arduino合作創(chuàng)建SparkFun Thing Plus Matter板 234
- 淺析FreeRTOS任務(wù)調(diào)度器的三種調(diào)度算法和應(yīng)用 1839
- Sparkle撼與科技發(fā)布TBX-750FA-V2顯卡塢，支持3.5槽厚顯 243
- 如何注冊星閃Sparklink設(shè)備媒體接入層標(biāo)識、地址碼? 246