電子發(fā)燒友App
創(chuàng)作
發(fā)文章
發(fā)帖 
提問 
發(fā)資料
發(fā)視頻資料介紹
MPP最開始的設計目的是為了消除共享資源的使用，即每個executor有獨立的cpu、內(nèi)存和磁盤等資源，每個executor一般不能訪問其他executor的資源。但是有一種情況例外，那就是當數(shù)據(jù)必須要通過網(wǎng)絡進行交換的時候（譯者注：即shuffle）。這種設計理念效果很好，使MPP具有了比較湊合的擴展性。
MPP的第二個重概念是“并發(fā)”，即每個executor執(zhí)行同樣的數(shù)據(jù)處理邏輯，處理的數(shù)據(jù)則是這個executor所在的節(jié)點的本地存儲的數(shù)據(jù)分片，在這些執(zhí)行步驟中，有一些被稱為同步點（synchronization points）的東東，這些同步點多數(shù)情況下是在執(zhí)行節(jié)點間的數(shù)據(jù)交換，比如spark和mr中得shuffle操作。下圖是一個典型的MPP查詢時間線，垂直的虛線表示同步點，例如，如果遇到join或者aggregation（譯者注：即sql中的group by）操作，就需要一個同步操作來完成shuffle，而task本身（譯者注：executor是進程級概念，task是executor內(nèi)部的線程）則執(zhí)行的是數(shù)據(jù)聚合、join、排序以及其他可以在本節(jié)點獨立完成的任務。
下載該資料的人也在下載
下載該資料的人還在閱讀
更多 >
- ChatGPT:AI模型框架研究 9次下載
- 開源霧計算軟件框架FogLAMP介紹（二）：FogLAMP介紹
- 開源霧計算軟件框架FogLAMP介紹（三）：FogLAMP架構分析
- 基于boosting框架的混合秩矩陣分解模型 13次下載
- 一種基于框架特征的共指消解方法 7次下載
- 什么是框架？MATLAB的單元測試框架中文版資料詳細概述 0次下載
- C++的框架、庫和資源資料匯總大全
- 如何使用Spark計算框架進行分布式文本分類方法的研究 3次下載
- 基于迭代填充的內(nèi)存計算框架分區(qū)映射算法 0次下載
- 基于云計算的監(jiān)控與統(tǒng)計 10次下載
- MFC框架窗口界面設計 0次下載
- LC諧振計算器(C# .NET2.0框架) 0次下載
- Struts和Spring兩種MVC框架的比較 0次下載
- 手把手教你寫批處理-批處理的介紹
- 批處理常用命令大全 0次下載
- SSM框架的源碼解析與理解 1.5k次閱讀
- 一文詳解計算型存儲協(xié)議框架 1.9k次閱讀
- TensorFlow與PyTorch深度學習框架的比較與選擇 2.4k次閱讀
- Python自動化測試框架及其應用 1.2k次閱讀
- GPT推斷中的批處理（Batching）效應簡析 1.6k次閱讀
- qiling框架和AFLplusplus安裝 3.2k次閱讀
- 基于SSM框架的新聞管理系統(tǒng) 2.2k次閱讀
- 一個高性能異步計算框架介紹 1.3k次閱讀
- cartography框架安裝與建圖測試 2.5k次閱讀
- 可信增強的Flask訪問控制框架的總體應用設計和實施方法 3.6k次閱讀
- 現(xiàn)在流行的Web APP開發(fā)框架有哪些 1.3w次閱讀
- 邊緣計算的兩種處理機制介紹 4.5k次閱讀
- 嵌入式應用框架EAF詳解 3.4k次閱讀
- 什么是Hibernate?Hibernate框架架構與框架原理分析 5.6k次閱讀
- 采用Xilinx Zynq SoC 為云計算提速 1.3k次閱讀
上傳資料賺積分下載排行
本周
- 1MDD品牌三極管MMBT3906數(shù)據(jù)手冊
- 2.33 MB | 次下載 | 免費
- 2MDD品牌三極管S9012數(shù)據(jù)手冊
- 2.62 MB | 次下載 | 免費
- 3聯(lián)想flex2-14D/15D說明書
- 4.92 MB | 次下載 | 免費
- 4收音環(huán)繞擴音機 AVR-1507手冊
- 2.50 MB | 次下載 | 免費
- 524Pin Type-C連接器設計報告
- 1.06 MB | 次下載 | 免費
- 6新一代網(wǎng)絡可視化（NPB 2.0）
- 3.40 MB | 次下載 | 免費
- 7MS1000TA 超聲波測量模擬前端芯片技術手冊
- 0.60 MB | 次下載 | 免費
- 8MS1022高精度時間測量(TDC)電路數(shù)據(jù)手冊
- 1.81 MB | 次下載 | 免費
本月
- 1愛華AIWA HS-J202維修手冊
- 3.34 MB | 37次下載 | 免費
- 2PC5502負載均流控制電路數(shù)據(jù)手冊
- 1.63 MB | 23次下載 | 免費
- 3NB-IoT芯片廠商的資料說明
- 0.31 MB | 22次下載 | 1 積分
- 4H110主板CPU PWM芯片ISL95858HRZ-T核心供電電路圖資料
- 0.63 MB | 6次下載 | 1 積分
- 5UWB653Pro USB口測距通信定位模塊規(guī)格書
- 838.47 KB | 5次下載 | 免費
- 6技嘉H110主板IT8628E_BX IO電路圖資料
- 2.61 MB | 4次下載 | 1 積分
- 7蘇泊爾DCL6907(即CHK-S007)單芯片電磁爐原理圖資料
- 0.04 MB | 4次下載 | 1 積分
- 8100W準諧振反激式恒流電源電路圖資料
- 0.09 MB | 2次下載 | 1 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935137次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191439次下載 | 10 積分
- 5十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183353次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81602次下載 | 10 積分
- 7Keil工具MDK-Arm免費下載
- 0.02 MB | 73822次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65991次下載 | 10 積分
工商網(wǎng)監(jiān)
評論