可擴(kuò)展機(jī)器學(xué)習(xí)的并行與分布式優(yōu)化算法綜述
大?。?/span>未知 人氣： 2017-12-19 需要積分：3
機(jī)器學(xué)習(xí)問題通常會轉(zhuǎn)換成一個目標(biāo)函數(shù)去求解，優(yōu)化算法是求解目標(biāo)函數(shù)中參數(shù)的重要工具，在大數(shù)據(jù)環(huán)境下，需要設(shè)計(jì)并行與分布式的優(yōu)化算法，通過多核計(jì)算和分布式計(jì)算技術(shù)來加速訓(xùn)練過程，近年來，該領(lǐng)域涌現(xiàn)了大量研究工作，部分算法也在各機(jī)器學(xué)習(xí)平臺得到廣泛應(yīng)用，本文針對梯度下降算法、二階優(yōu)化算法、鄰近梯度算法、坐標(biāo)下降算法、交替方向乘子算法五類最常見的優(yōu)化方法展開研究，每一類算法分別從單機(jī)并行和分布式并行來分析相關(guān)研究成果，并從模型特性、輸入數(shù)據(jù)特性、算法評價、并行計(jì)算模型等角度對每個算法進(jìn)行詳細(xì)對比，隨后對有代表性的可擴(kuò)展機(jī)器學(xué)習(xí)平臺中優(yōu)化算法的實(shí)現(xiàn)和應(yīng)用情況進(jìn)行對比分析．同時對本文中介紹的所有優(yōu)化算法進(jìn)行多層次分類，方便用戶根據(jù)目標(biāo)函數(shù)類型選擇合適的優(yōu)化算法，也可以通過該多層次分類圖交叉探索如何將優(yōu)化算法應(yīng)用到新的目標(biāo)函數(shù)類型，最后分析了現(xiàn)有優(yōu)化算法存在的問題，提出可能的解決思路，并對未來研究方向進(jìn)行展望。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
可擴(kuò)展機(jī)器學(xué)習(xí)的并行與分布式優(yōu)化算法綜述下載
相關(guān)電子資料下載
- 人工智能輔助編程工具的定義和工作原理 381
- 基于CNN的網(wǎng)絡(luò)入侵檢測系統(tǒng)設(shè)計(jì) 105
- 數(shù)據(jù)分析有哪些分析方法 82
- 數(shù)據(jù)分析工具有哪幾種模式 83
- 數(shù)據(jù)分析與數(shù)據(jù)挖掘的區(qū)別 55
- STM32串口通信入門！附通信編程示例 469
- tensorflow和pytorch哪個好 156
- tensorflow簡單的模型訓(xùn)練 71
- 遷移學(xué)習(xí)的基本概念和實(shí)現(xiàn)方法 98
- 深度神經(jīng)網(wǎng)絡(luò)概述及其應(yīng)用 105