-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
智能科學與技術叢書分布式機器學習:算法理論與實踐 版權信息
- ISBN:9787111609186
- 條形碼:9787111609186 ; 978-7-111-60918-6
- 裝幀:簡裝本
- 冊數:暫無
- 重量:暫無
- 所屬分類:>
智能科學與技術叢書分布式機器學習:算法理論與實踐 本書特色
適讀人群 :由于對機器學習模型的分布式訓練已經成為產業界的首選方式,計算機產業的從業者將會對本書介紹的內容有非常濃厚的興趣(尤其因為本書有專門的章節討論分布式機器學習的實戰)
全面展示分布式機器學習理論、方法與實踐 微軟亞洲研究院機器學習核心團隊潛心力作 鄂維南院士、周志華教授傾心撰寫推薦序 內容前沿全面,討論系統深刻,全彩印刷
智能科學與技術叢書分布式機器學習:算法理論與實踐 內容簡介
劉鐵巖、陳薇、王太峰、高飛著的《分布式機器學習(算法理論與實踐)/智能科學與技術叢書》旨在全面介紹分布式機器學習的現狀,深入分析其中的核心技術問題,并且討論該領域未來的發展方向。
全書共12章。章是緒論,向大家展示分布式機器學習這個領域的全景。第2章介紹機器學習的基礎知識。第3章到第8章是本書的核心部分,向大家細致地講解分布式機器學習的框架及其各個功能模塊。其中第3章給出整個分布式機器學習框架的綜述,而第4章到第8章則分別針對其中的數據與模型劃分模塊、單機優化模塊、通信模塊、數據與模型聚合模塊加以介紹。接下來的三章是對前面內容的總結與升華。其中第9章介紹由分布式機器學習框架中不同選項所組合出來的各式各樣的分布式機器學習算法,0章討論這些算法的理論性質,1章則介紹幾個主流的分布式機器學習系統(包括Spark MLlib迭代式MapReduce系統,Multiverso參數服務器系統,TensorFlow數據流系統)。很后的2章是全書的結語,在對全書內容進行簡要總結之后,著重討論分布式機器學習這個領域未來的發展方向。
本書基于微軟亞洲研究院機器學習研究團隊多年的研究成果和實踐經驗寫成,既可以作為研究生從事分布式機器學習方向研究的參考文獻,也可以作為人工智能從業者進行算法選擇和系統設計的工具書。
智能科學與技術叢書分布式機器學習:算法理論與實踐 目錄
序言一
序言二
前 言
作者介紹
第1章 緒論/ 1
1.1 人工智能及其飛速發展/ 2
1.2 大規模、分布式機器學習/ 4
1.3 本書的安排/ 6
參考文獻/ 7
第2章 機器學習基礎/ 9
2.1 機器學習的基本概念/ 10
2.2 機器學習的基本流程/ 13
2.3 常用的損失函數/ 16
2.3.1 Hinge損失函數/ 16
2.3.2 指數損失函數/ 16
2.3.3 交叉熵損失函數/ 17
2.4 常用的機器學習模型/ 18
2.4.1 線性模型/ 18
2.4.2 核方法與支持向量機/ 18
2.4.3 決策樹與Boosting/ 21
2.4.4 神經網絡/ 23
2.5 常用的優化方法/ 32
2.6 機器學習理論/ 33
2.6.1 機器學習算法的泛化誤差/ 34
2.6.2 泛化誤差的分解/ 34
2.6.3 基于容度的估計誤差的上界/ 35
2.7 總結/ 36
參考文獻/ 36
第3章 分布式機器學習框架/ 41
3.1 大數據與大模型的挑戰/ 42
3.2 分布式機器學習的基本流程/ 44
3.3 數據與模型劃分模塊/ 46
3.4 單機優化模塊/ 48
3.5 通信模塊/ 48
3.5.1 通信的內容/ 48
3.5.2 通信的拓撲結構/ 49
3.5.3 通信的步調/ 51
3.5.4 通信的頻率/ 52
3.6 數據與模型聚合模塊/ 53
3.7 分布式機器學習理論/ 54
3.8 分布式機器學習系統/ 55
3.9 總結/ 56
參考文獻/ 57
第4章 單機優化之確定性算法/ 61
4.1 基本概述/ 62
4.1.1 機器學習的優化框架/ 62
4.1.2 優化算法的分類和發展歷史/ 65
4.2 一階確定性算法/ 67
4.2.1 梯度下降法/ 67
4.2.2 投影次梯度下降法/ 69
4.2.3 近端梯度下降法/ 70
4.2.4 Frank-Wolfe算法/ 71
4.2.5 Nesterov加速法/ 72
4.2.6 坐標下降法/ 75
4.3 二階確定性算法/ 75
4.3.1 牛頓法/ 76
4.3.2 擬牛頓法/ 77
4.4 對偶方法/ 78
4.5 總結/ 81
參考文獻/ 8
第5章 單機優化之隨機算法/ 85
5.1 基本隨機優化算法/ 86
5.1.1 隨機梯度下降法/ 86
5.1.2 隨機坐標下降法/ 88
5.1.3 隨機擬牛頓法/ 91
5.1.4 隨機對偶坐標上升法/ 93
5.1.5 小結/ 95
5.2 隨機優化算法的改進/ 96
5.2.1 方差縮減方法/ 96
5.2.2 算法組合方法/ 100
5.3 非凸隨機優化算法/ 101
5.3.1 Ada系列算法/ 102
5.3.2 非凸理論分析/ 104
5.3.3 逃離鞍點問題/ 106
5.3.4 等級優化算法/ 107
5.4 總結/ 109
參考文獻/ 109
第6章 數據與模型并行/ 113
6.1 基本概述/ 114
6.2 計算并行模式/ 117
6.3 數據并行模式/ 119
6.3.1 數據樣本劃分/ 120
6.3.2 數據維度劃分/ 123
6.4 模型并行模式/ 123
6.4.1 線性模型/ 123
6.4.2 神經網絡/ 127
6.5 總結/ 133
參考文獻/ 133
第7章 通信機制/ 135
7.1 基本概述/ 136
7.2 通信的內容/ 137
7.2.1 參數或參數的更新/ 137
7.2.2 計算的中間結果/ 137
7.2.3 討論/ 138
7.3 通信的拓撲結構/ 139
7.3.1 基于迭代式MapReduce/AllReduce的通信拓撲/ 140
7.3.2 基于參數服務器的通信拓撲/ 142
7.3.3 基于數據流的通信拓撲/ 143
7.3.4 討論/ 145
7.4 通信的步調/ 145
7.4.1 同步通信/ 146
7.4.2 異步通信/ 147
7.4.3 同步和異步的平衡/ 148
7.4.4 討論/ 150
7.5 通信的頻率/ 150
7.5.1 時域濾波/ 150
7.5.2 空域濾波/ 153
7.5.3 討論/ 155
7.6 總結/ 156
參考文獻/ 156
第8章 數據與模型聚合/ 159
8.1 基本概述/ 160
8.2 基于模型加和的聚合方法/ 160
8.2.1 基于全部模型加和的聚合/ 160
8.2.2 基于部分模型加和的聚合/ 162
8.3 基于模型集成的聚合方法/ 167
8.3.1 基于輸出加和的聚合/ 168
8.3.2 基于投票的聚合/ 171
8.4 總結/ 174
參考文獻/ 174
第9章 分布式機器學習算法/ 177
9.1 基本概述/ 178
9.2 同步算法/ 179
9.2.1 同步SGD方法/ 179
9.2.2 模型平均方法及其改進/ 182
9.2.3 ADMM算法/ 183
9.2.4 彈性平均SGD算法/ 185
9.2.5 討論/ 186
9.3 異步算法/ 187
9.3.1 異步SGD/ 187
9.3.2 Hogwild!算法/ 189
9.3.3 Cyclades算法/ 190
9.3.4 帶延遲處理的異步算法/ 192
9.3.5 異步方法的進一步加速/ 199
9.3.6 討論/ 199
9.4 同步和異步的對比與融合/ 199
9.4.1 同步和異步算法的實驗對比/ 199
9.4.2 同步和異步的融合/ 201
9.5 模型并行算法/ 203
9.5.1 DistBelief/ 203
9.5.2 AlexNet/ 204
9.6 總結/ 205
參考文獻/ 205
第10章 分布式機器學習理論/ 209
10.1 基本概述/ 210
10.2 收斂性分析/ 210
10.2.1 優化目標和算法/ 211
10.2.2 數據和模型并行/ 213
10.2.3 同步和異步/ 215
10.3 加速比分析/ 217
10.3.1 從收斂速率到加速比/ 218
10.3.2 通信量的下界/ 219
10.4 泛化分析/ 221
10.4.1 優化的局限性/ 222
10.4.2 具有更好泛化能力的非凸優化算法/ 224
10.5 總結/ 226
參考文獻/ 226
第11章 分布式機器學習系統/ 229
11.1 基本概述/ 230
11.2 基于IMR的分布式機器學習系統/ 231
11.2.1 IMR和Spark/ 231
11.2.2 Spark MLlib/ 234
11.3 基于參數服務器的分布式機器學習系統/ 236
11.3.1 參數服務器/ 236
11.3.2 Multiverso參數服務器/ 237
11.4 基于數據流的分布式機器學習系統/ 241
11.4.1 數據流/ 241
11.4.2 TensorFlow數據流系統/ 243
11.5 實戰比較/ 248
11.6 總結/ 252
參考文獻/ 252
第12章 結語/ 255
12.1 全書總結/ 256
12.2 未來展望/ 257
索引/ 260
智能科學與技術叢書分布式機器學習:算法理論與實踐 作者簡介
劉鐵巖,微軟亞洲研究院副院長。劉博士的先鋒性研究促進了機器學習與信息檢索之間的融合,被國際學術界公認為“排序學習”領域的代表人物。近年來在深度學習、分布式學習、強化學習等方面也頗有建樹,發表論文200余篇,被引用近兩萬次。多次獲得*佳論文獎、*高引用論文獎、Springer十大暢銷華人作者、Elsevier *高引中國學者等。被聘為卡內基-梅隆大學(CMU)客座教授,諾丁漢大學榮譽教授,中國科技大學教授、博士生導師;被評為國際電子電氣工程師學會(IEEE)會士,國際計算機學會(ACM)杰出會員。 陳薇,微軟亞洲研究院機器學習組主管研究員,研究機器學習各個分支的理論解釋和算法改進,尤其關注深度學習、分布式機器學習、強化學習、博弈機器學習、排序學習等。2011年于中國科學院數學與系統科學研究院獲得博士學位,同年加入微軟亞洲研究院,負責機器學習理論項目,先后在NIPS、ICML、AAAI、IJCAI等相關領域頂*國際會議和期刊上發表文章30余篇。 王太峰,螞蟻金服人工智能部總監、資深算法專家。在螞蟻金服負責AI算法組件建設,算法工作服務于螞蟻金服的支付、國際、保險等多條業務線。在加入螞蟻之前在微軟亞洲研究院工作11年,任主管研究員,他的研究方向包括大規模機器學習、數據挖掘、計算廣告學等。在國際頂*的機器學習會議上發表近20篇的論文,在大規模機器學習工具開源方面也做出過很多貢獻,在微軟期間主持開發過DMTK的開源項目。 高飛,微軟亞洲研究院副研究員,主要從事分布式機器學習和深度學習的研究工作,并在國際會議上發表多篇論文。2014年設計開發了當時規模*大的主題模型算法和系統LightLDA。他還開發了一系列分布式機器學習系統,并通過微軟分布式機器學習工具包(DMTK)開源在GitHub上。
- >
二體千字文
- >
龍榆生:詞曲概論/大家小書
- >
伊索寓言-世界文學名著典藏-全譯本
- >
自卑與超越
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
推拿
- >
李白與唐代文化
- >
煙與鏡