掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
企業大數據處理實戰派――基于阿里云大數據平臺 版權信息
- ISBN：9787121460760
- 條形碼：9787121460760 ; 978-7-121-46076-0
- 裝幀：平塑勒
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
企業大數據處理實戰派――基于阿里云大數據平臺 本書特色
1）一線技術，系統全面 包含大數據平臺技術涉及的方方面面，力求覆蓋使用租賃的大數據平臺的核心內容。 2）從零開始，循序漸進 本書從*基礎的內容開始講解并逐步深入，先介紹大數據基礎，然后全面、深入地介紹，從而真正做到幫助讀者從基礎入門向開發高手邁進，讓初級、中級、高級技術人員都可以從本書中學到干貨。 3）精雕細琢，可讀性強 本書采用通俗易懂的語言，并經過多次打磨，力求精確。同時注重前后章節的承上啟下，讓沒有大數據方面經驗的讀者也可以很輕松地讀懂本書。 4）突出實戰，注重效果 本書采用“理論講解+動手實操”的方式，讓讀者在學習理論知識之后能夠動手實操。購買本書的讀者可以通過網絡下載書中所有的相關資料，下載后即可運行，通過實踐來加深理解。 5）實踐方案，指導生產 本書以實踐為主，所有的示例拿來即可運行。并且書中提供了大量的技術解決方案，可以為技術人員在實際的生產環境中提供相應的指導。
企業大數據處理實戰派――基于阿里云大數據平臺 內容簡介
本書基于作者多年的教學與實踐經驗編寫，重點介紹阿里云大數據體系的核心原理與架構，內容涉及開發、運維、管理與架構。全書分為4 篇，共13 章：第1 篇（第1～2 章）介紹大數據技術基礎；第2 篇（第3～8 章）介紹阿里云大數據的離線計算服務；第3 篇（第9～10 章）介紹阿里云大數據的實時計算服務，包括消息隊列Kafka 版和實時計算Flink 版；第4 篇（第11～13 章）介紹阿里云大數據增值服務――數加平臺，包括阿里云大數據集成開發平臺DataWorks、數據可視化分析平臺Quick BI 和機器學習平臺PAI。本書適合對大數據技術感興趣的平臺架構師、運維管理人員和項目開發人員閱讀。無論讀者是否接觸過大數據技術，只要具備基礎的Linux 知識和Java 基礎，就能夠通過本書快速掌握阿里云大數據技術并增加實戰經驗。根據本書中的操作步驟，讀者可以在實際的項目生產環境中快速應用并實施阿里云大數據平臺技術。
企業大數據處理實戰派――基于阿里云大數據平臺 目錄
★★第1 篇 大數據技術基礎
★第1 章 大數據核心理論基礎與架構 2
1.1 什么是大數據 2
1.1.1 大數據的基本概念和特性 2
1.1.2 大數據平臺的核心問題——存儲與計算 4
1.2 大數據的理論基礎 6
1.2.1 大數據的分布式存儲 6
1.2.2 大數據的分布式計算 9
1.3 大數據技術與數據倉庫 . 12
1.3.1 什么是數據倉庫/12
1.3.2 基于大數據技術實現的數據倉庫 13
1.4 基于開源大數據組件的大數據平臺架構 15
1.4.1 數據源層 16
1.4.2 數據采集層 16
1.4.3 大數據平臺層 16
1.4.4 數據倉庫層 17
1.4.5 應用層 17
1.5 自建大數據平臺與租賃大數據平臺 17
1.5.1 為什么推薦使用租賃的大數據平臺 17
1.5.2 為什么選擇阿里云大數據平臺 18
1.6 阿里云大數據生態圈體系/18
1.6.1 阿里云大數據基礎組件 . 19
1.6.2 基于阿里云大數據基礎組件的數加平臺 24
★★第2 章 阿里云大數據技術基礎——開源大數據技術生態圈 27
2.1 開源大數據技術生態圈簡介 27
2.1.1 面向離線數據的存儲計算引擎Hadoop 生態圈體系及其組件 27
2.1.2 面向批處理的大數據計算引擎Spark 生態圈體系及其組件 29
2.1.3 面向流處理的大數據計算引擎Flink 生態圈體系及其組件 . 30
2.2 面向離線數據的存儲計算引擎Hadoop 快速上手 32
2.2.1 【實戰】部署Hadoop 集群 33
2.2.2 【實戰】使用Hadoop 文件系統HDFS 存儲數據 38
2.2.3 【實戰】使用Hadoop 離線計算引擎MapReduce 處理數據 46
2.3 面向批處理的大數據計算引擎Spark 快速上手 49
2.3.1 【實戰】部署Spark 集群 49
2.3.2 【實戰】執行Spark 離線計算任務 51
2.3.3 【實戰】執行Spark 實時計算任務 57
2.3.4 【實戰】使用Spark SQL 處理結構化數據 . 60
2.4 面向流處理的大數據計算引擎Flink 快速上手 . 61
2.4.1 【實戰】部署Flink 集群/62
2.4.2 【實戰】執行Flink 離線計算任務 63
2.4.3 【實戰】執行Flink 實時計算任務 64
2.4.4 【實戰】使用Flink SQL 處理結構化數據 66
2.5 大數據體系的單點故障問題 66
★★第2 篇 阿里云大數據的離線計算服務
★第3 章 面向離線數據存儲與計算的MaxCompute 基礎 . 70
3.1 MaxCompute 簡介 70
3.1.1 什么是MaxCompute 70
3.1.2 MaxCompute 的特點 71
3.2 初識MaxCompute 71
3.2.1 MaxCompute 的架構 71
3.2.2 MaxCompute 的核心概念 74
3.2.3 MaxCompute 的數據類型 76
3.3 使用MaxCompute 的準備工作 78
3.3.1 【實戰】創建阿里云賬號 79
3.3.2 【實戰】開通MaxCompute 服務 . 82
3.3.3 【實戰】創建項目 83
3.3.4 配置MaxCompute 客戶端/85
3.4 MaxCompute 快速上手 93
3.4.1 【實戰】使用命令行客戶端 93
3.4.2 【實戰】執行MapReduce 任務 99
3.4.3 【實戰】執行Spark 任務 101
3.5 基于Tunnel 的數據上傳與下載/102
3.5.1 Tunnel 簡介 102
3.5.2 【實戰】使用Tunnel 的命令行工具 103
3.5.3 【實戰】使用Tunnel 的SDK/107
★第4 章 處理結構化數據——基于MaxCompute SQL 112
4.1 MaxCompute SQL 簡介 112
4.1.1 MaxCompute SQL 與其他SQL 的差異/112
4.1.2 MaxCompute SQL 的數據類型 114
4.1.3 MaxCompute SQL 的數據類型轉換 115
4.2 使用MaxCompute SQL 119
4.2.1 【實戰】使用DDL 語句 119
4.2.2 【實戰】使用DML 語句 135
4.2.3 【實戰】使用DQL 語句 140
4.2.4 【實戰】使用MaxCompute SQL 的增強語法CTE 143
4.3 使用MaxCompute SQL 的內建函數 145
4.3.1 【實戰】日期函數 . 145
4.3.2 【實戰】窗口函數 . 148
4.3.3 【實戰】聚合函數 . 152
4.3.4 【實戰】條件判斷函數/152
4.3.5 數學函數和字符串函數 154
4.4 在MaxCompute 中自定義SQL 155
4.4.1 【實戰】UDF . 155
4.4.2 【實戰】UDT . 157
4.4.3 UDJ . 158
★第5 章 處理離線數據——基于MaxCompute MapReduce/159
5.1 MaxCompute MapReduce 簡介 159
5.1.1 MaxCompute MapReduce 的處理流程/159
5.1.2 MaxCompute MapReduce 的使用限制/160
5.2 開發WordCount 單詞計數程序/161
5.2.1 WordCount 數據處理的流程/162
5.2.2 MaxCompute MapReduce 的編程接口/163
5.2.3 【實戰】開發WordCount 程序 166
5.3 MaxCompute MapReduce 的高級特性 169
5.3.1 【實戰】實現數據排序/170
5.3.2 【實戰】實現數據二次排序/173
5.3.3 【實戰】使用過濾模式MapOnly . 177
5.3.4 【實戰】使用Join 實現多表連接 . 179
5.3.5 【實戰】使用計數器Counter/183
5.3.6 【實戰】使用Unique 實現數據去重 187
5.3.7 【實戰】使用項目空間資源/193
★第6 章 處理離線數據——基于MaxCompute Spark/196
6.1 MaxCompute Spark 基礎 . 196
6.1.1 MaxCompute Spark 的系統結構 . 196
6.1.2 MaxCompute Spark 的使用限制 . 197
6.1.3 使用spark-shell 198
6.2 MaxCompute Spark 的核心數據模型RDD 199
6.2.1 什么是RDD 200
6.2.2 熟悉RDD 的算子 202
6.2.3 【實戰】RDD 的緩存機制 209
6.2.4 【實戰】RDD 的檢查點機制 211
6.2.5 RDD 的依賴關系和任務執行的階段 212
6.3 在MaxCompute Spark 中使用SQL 處理數據 214
6.3.1 Spark SQL 的特點/214
6.3.2 Spark SQL 的數據模型/215
6.3.3 【實戰】創建DataFrame 215
6.3.4 【實戰】使用DataFrame 處理數據 218
6.3.5 【實戰】創建視圖 . 220
6.4 【實戰】MaxCompute Spark 開發案例 . 222
6.4.1 開發Java 版本的單詞計數程序WordCount 222
6.4.2 開發Scala 版本的單詞計數程序WordCount/224
6.5 診斷MaxCompute Spark 作業 225
6.5.1 使用Logview 工具診斷作業 226
6.5.2 使用Spark Web UI 診斷作業 227
★第7 章 處理圖數據——基于MaxCompute Graph 229
7.1 MaxCompute Graph 基礎/229
7.1.1 MaxCompute Graph 的基本概念 230
7.1.2 MaxCompute Graph 的數據結構 . 230
7.1.3 MaxCompute Graph 的程序邏輯 . 231
7.1.4 MaxCompute Graph 的Aggregator 機制/233
7.1.5 MaxCompute Graph 的使用限制 . 236
7.2 使用MaxCompute Graph 計算單源*短距離 . 236
7.2.1 單源*短距離算法簡介 236
7.2.2 【實戰】開發并運行單源*短距離算法程序 239
★第8 章 MaxCompute 的權限與安全 245
8.1 MaxCompute 的權限與安全簡介 245
8.2 管理MaxCompute 的用戶 246
8.3 管理MaxCompute 的權限 247
8.3.1 授權的三要素 248
8.3.2 項目空間內的權限 249
8.3.3 【實戰】使用ACL 授權 250
8.3.4 【實戰】使用Policy 授權 252
8.3.5 ACL 授權與Policy 授權的區別 256
8.4 管理MaxCompute 的角色/257
8.4.1 角色的作用 . 257
8.4.2 內置角色和自定義角色 258
8.4.3 【實戰】使用MaxCompute 的角色 259
8.5 LabelSecurity . 260
8.5.1 LabelSecurity 簡介 260
8.5.2 【實戰】使用LabelSecurity 260
8.5.3 【實戰】LabelSecurity 的應用場景示例 264
8.6 使用Package 實現跨項目空間的資源分享 265
8.6.1 什么是跨項目空間的資源分享 265
8.6.2 Package 的創建與使用/266
8.6.3 【實戰】Package 的應用場景示例 . 268
8.7 項目空間的數據保護 270
8.7.1 MaxCompute 的數據保護機制 271
8.7.2 數據保護機制下數據的流動 271
★★第3 篇 阿里云大數據的實時計算服務
★第9 章 消息隊列Kafka 版 274
9.1 消息隊列基礎 274
9.1.1 消息隊列概述/274
9.1.2 消息隊列的分類/275
9.2 消息隊列Kafka 版的體系架構 278
9.2.1 消息服務器Broker . 279
9.2.2 主題、分區與副本 279
9.2.3 消息的生產者 . 281
9.2.4 消息的消費者 . 283
9.3 快速上手消息隊列Kafka 版 285
9.3.1 快速入門操作流程 285
9.3.2 【實戰】獲取訪問授權 286
9.3.3 【實戰】購買和部署 287
9.3.4 【實戰】創建資源 . 292
9.3.5 【實戰】使用管理控制臺收發消息 294
9.3.6 【實戰】實例運行健康自檢指南 296
9.4 消息隊列Kafka 版應用開發 298
9.4.1 【實戰】開發基本的消息生產者與消費者 298
9.4.2 【實戰】發送與接收自定義消息 304
★第10 章 實時計算Flink版 313
10.1 實時計算Flink 版基礎 313
10.1.1 什么是實時計算Flink 版 313
10.1.2 實時計算Flink 版的應用場景 . 314
10.1.3 【實戰】快速上手實時計算Flink 版 317
10.2 批處理開發——基于實時計算引擎Flink Dataset . 325
10.2.1 【實戰】使用map、flatMap 與mapPartition 算子 326
10.2.2 【實戰】使用filter 與distinct 算子 330
★第1 章 大數據核心理論基礎與架構 2
1.1 什么是大數據 2
1.1.1 大數據的基本概念和特性 2
1.1.2 大數據平臺的核心問題——存儲與計算 4
1.2 大數據的理論基礎 6
1.2.1 大數據的分布式存儲 6
1.2.2 大數據的分布式計算 9
1.3 大數據技術與數據倉庫 . 12
1.3.1 什么是數據倉庫/12
1.3.2 基于大數據技術實現的數據倉庫 13
1.4 基于開源大數據組件的大數據平臺架構 15
1.4.1 數據源層 16
1.4.2 數據采集層 16
1.4.3 大數據平臺層 16
1.4.4 數據倉庫層 17
1.4.5 應用層 17
1.5 自建大數據平臺與租賃大數據平臺 17
1.5.1 為什么推薦使用租賃的大數據平臺 17
1.5.2 為什么選擇阿里云大數據平臺 18
1.6 阿里云大數據生態圈體系/18
1.6.1 阿里云大數據基礎組件 . 19
1.6.2 基于阿里云大數據基礎組件的數加平臺 24
★★第2 章 阿里云大數據技術基礎——開源大數據技術生態圈 27
2.1 開源大數據技術生態圈簡介 27
2.1.1 面向離線數據的存儲計算引擎Hadoop 生態圈體系及其組件 27
2.1.2 面向批處理的大數據計算引擎Spark 生態圈體系及其組件 29
2.1.3 面向流處理的大數據計算引擎Flink 生態圈體系及其組件 . 30
2.2 面向離線數據的存儲計算引擎Hadoop 快速上手 32
2.2.1 【實戰】部署Hadoop 集群 33
2.2.2 【實戰】使用Hadoop 文件系統HDFS 存儲數據 38
2.2.3 【實戰】使用Hadoop 離線計算引擎MapReduce 處理數據 46
2.3 面向批處理的大數據計算引擎Spark 快速上手 49
2.3.1 【實戰】部署Spark 集群 49
2.3.2 【實戰】執行Spark 離線計算任務 51
2.3.3 【實戰】執行Spark 實時計算任務 57
2.3.4 【實戰】使用Spark SQL 處理結構化數據 . 60
2.4 面向流處理的大數據計算引擎Flink 快速上手 . 61
2.4.1 【實戰】部署Flink 集群/62
2.4.2 【實戰】執行Flink 離線計算任務 63
2.4.3 【實戰】執行Flink 實時計算任務 64
2.4.4 【實戰】使用Flink SQL 處理結構化數據 66
2.5 大數據體系的單點故障問題 66
★★第2 篇 阿里云大數據的離線計算服務
★第3 章 面向離線數據存儲與計算的MaxCompute 基礎 . 70
3.1 MaxCompute 簡介 70
3.1.1 什么是MaxCompute 70
3.1.2 MaxCompute 的特點 71
3.2 初識MaxCompute 71
3.2.1 MaxCompute 的架構 71
3.2.2 MaxCompute 的核心概念 74
3.2.3 MaxCompute 的數據類型 76
3.3 使用MaxCompute 的準備工作 78
3.3.1 【實戰】創建阿里云賬號 79
3.3.2 【實戰】開通MaxCompute 服務 . 82
3.3.3 【實戰】創建項目 83
3.3.4 配置MaxCompute 客戶端/85
3.4 MaxCompute 快速上手 93
3.4.1 【實戰】使用命令行客戶端 93
3.4.2 【實戰】執行MapReduce 任務 99
3.4.3 【實戰】執行Spark 任務 101
3.5 基于Tunnel 的數據上傳與下載/102
3.5.1 Tunnel 簡介 102
3.5.2 【實戰】使用Tunnel 的命令行工具 103
3.5.3 【實戰】使用Tunnel 的SDK/107
★第4 章 處理結構化數據——基于MaxCompute SQL 112
4.1 MaxCompute SQL 簡介 112
4.1.1 MaxCompute SQL 與其他SQL 的差異/112
4.1.2 MaxCompute SQL 的數據類型 114
4.1.3 MaxCompute SQL 的數據類型轉換 115
4.2 使用MaxCompute SQL 119
4.2.1 【實戰】使用DDL 語句 119
4.2.2 【實戰】使用DML 語句 135
4.2.3 【實戰】使用DQL 語句 140
4.2.4 【實戰】使用MaxCompute SQL 的增強語法CTE 143
4.3 使用MaxCompute SQL 的內建函數 145
4.3.1 【實戰】日期函數 . 145
4.3.2 【實戰】窗口函數 . 148
4.3.3 【實戰】聚合函數 . 152
4.3.4 【實戰】條件判斷函數/152
4.3.5 數學函數和字符串函數 154
4.4 在MaxCompute 中自定義SQL 155
4.4.1 【實戰】UDF . 155
4.4.2 【實戰】UDT . 157
4.4.3 UDJ . 158
★第5 章 處理離線數據——基于MaxCompute MapReduce/159
5.1 MaxCompute MapReduce 簡介 159
5.1.1 MaxCompute MapReduce 的處理流程/159
5.1.2 MaxCompute MapReduce 的使用限制/160
5.2 開發WordCount 單詞計數程序/161
5.2.1 WordCount 數據處理的流程/162
5.2.2 MaxCompute MapReduce 的編程接口/163
5.2.3 【實戰】開發WordCount 程序 166
5.3 MaxCompute MapReduce 的高級特性 169
5.3.1 【實戰】實現數據排序/170
5.3.2 【實戰】實現數據二次排序/173
5.3.3 【實戰】使用過濾模式MapOnly . 177
5.3.4 【實戰】使用Join 實現多表連接 . 179
5.3.5 【實戰】使用計數器Counter/183
5.3.6 【實戰】使用Unique 實現數據去重 187
5.3.7 【實戰】使用項目空間資源/193
★第6 章 處理離線數據——基于MaxCompute Spark/196
6.1 MaxCompute Spark 基礎 . 196
6.1.1 MaxCompute Spark 的系統結構 . 196
6.1.2 MaxCompute Spark 的使用限制 . 197
6.1.3 使用spark-shell 198
6.2 MaxCompute Spark 的核心數據模型RDD 199
6.2.1 什么是RDD 200
6.2.2 熟悉RDD 的算子 202
6.2.3 【實戰】RDD 的緩存機制 209
6.2.4 【實戰】RDD 的檢查點機制 211
6.2.5 RDD 的依賴關系和任務執行的階段 212
6.3 在MaxCompute Spark 中使用SQL 處理數據 214
6.3.1 Spark SQL 的特點/214
6.3.2 Spark SQL 的數據模型/215
6.3.3 【實戰】創建DataFrame 215
6.3.4 【實戰】使用DataFrame 處理數據 218
6.3.5 【實戰】創建視圖 . 220
6.4 【實戰】MaxCompute Spark 開發案例 . 222
6.4.1 開發Java 版本的單詞計數程序WordCount 222
6.4.2 開發Scala 版本的單詞計數程序WordCount/224
6.5 診斷MaxCompute Spark 作業 225
6.5.1 使用Logview 工具診斷作業 226
6.5.2 使用Spark Web UI 診斷作業 227
★第7 章 處理圖數據——基于MaxCompute Graph 229
7.1 MaxCompute Graph 基礎/229
7.1.1 MaxCompute Graph 的基本概念 230
7.1.2 MaxCompute Graph 的數據結構 . 230
7.1.3 MaxCompute Graph 的程序邏輯 . 231
7.1.4 MaxCompute Graph 的Aggregator 機制/233
7.1.5 MaxCompute Graph 的使用限制 . 236
7.2 使用MaxCompute Graph 計算單源*短距離 . 236
7.2.1 單源*短距離算法簡介 236
7.2.2 【實戰】開發并運行單源*短距離算法程序 239
★第8 章 MaxCompute 的權限與安全 245
8.1 MaxCompute 的權限與安全簡介 245
8.2 管理MaxCompute 的用戶 246
8.3 管理MaxCompute 的權限 247
8.3.1 授權的三要素 248
8.3.2 項目空間內的權限 249
8.3.3 【實戰】使用ACL 授權 250
8.3.4 【實戰】使用Policy 授權 252
8.3.5 ACL 授權與Policy 授權的區別 256
8.4 管理MaxCompute 的角色/257
8.4.1 角色的作用 . 257
8.4.2 內置角色和自定義角色 258
8.4.3 【實戰】使用MaxCompute 的角色 259
8.5 LabelSecurity . 260
8.5.1 LabelSecurity 簡介 260
8.5.2 【實戰】使用LabelSecurity 260
8.5.3 【實戰】LabelSecurity 的應用場景示例 264
8.6 使用Package 實現跨項目空間的資源分享 265
8.6.1 什么是跨項目空間的資源分享 265
8.6.2 Package 的創建與使用/266
8.6.3 【實戰】Package 的應用場景示例 . 268
8.7 項目空間的數據保護 270
8.7.1 MaxCompute 的數據保護機制 271
8.7.2 數據保護機制下數據的流動 271
★★第3 篇 阿里云大數據的實時計算服務
★第9 章 消息隊列Kafka 版 274
9.1 消息隊列基礎 274
9.1.1 消息隊列概述/274
9.1.2 消息隊列的分類/275
9.2 消息隊列Kafka 版的體系架構 278
9.2.1 消息服務器Broker . 279
9.2.2 主題、分區與副本 279
9.2.3 消息的生產者 . 281
9.2.4 消息的消費者 . 283
9.3 快速上手消息隊列Kafka 版 285
9.3.1 快速入門操作流程 285
9.3.2 【實戰】獲取訪問授權 286
9.3.3 【實戰】購買和部署 287
9.3.4 【實戰】創建資源 . 292
9.3.5 【實戰】使用管理控制臺收發消息 294
9.3.6 【實戰】實例運行健康自檢指南 296
9.4 消息隊列Kafka 版應用開發 298
9.4.1 【實戰】開發基本的消息生產者與消費者 298
9.4.2 【實戰】發送與接收自定義消息 304
★第10 章 實時計算Flink版 313
10.1 實時計算Flink 版基礎 313
10.1.1 什么是實時計算Flink 版 313
10.1.2 實時計算Flink 版的應用場景 . 314
10.1.3 【實戰】快速上手實時計算Flink 版 317
10.2 批處理開發——基于實時計算引擎Flink Dataset . 325
10.2.1 【實戰】使用map、flatMap 與mapPartition 算子 326
10.2.2 【實戰】使用filter 與distinct 算子 330
展開全部
企業大數據處理實戰派――基于阿里云大數據平臺 作者簡介
趙渝強，曾任京東大學大數據學院院長、Oracle（中國）高級技術顧問，現專職從事培訓工作。出版了《大數據原理與實戰》《Kafka進階》等書。
書友推薦
- >
苦雨齋序跋文-周作人自編集
- >
龍榆生：詞曲概論/大家小書
- >
我從未如此眷戀人間
- >
二體千字文
- >
經典常談
- >
上帝之肋:男人的真實旅程
- >
我與地壇
- >
史學評論
本類暢銷
