掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰(zhàn)行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
買過本商品的人還買了
機械工業(yè)出版社企業(yè)級大數據平臺構建:架構與實現 版權信息
- ISBN：9787111595953
- 條形碼：9787111595953 ; 978-7-111-59595-3
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
機械工業(yè)出版社企業(yè)級大數據平臺構建:架構與實現 本書特色
這是一部教你如何從0到1架構與實現一個企業(yè)級大數據平臺的著作，是作者在大數據和系統(tǒng)架構領域超過20000小時的經驗總結。作者從橫向視角出發(fā)，手把手教你如何拉通Hadoop體系技術棧，以此搭建一個真實可用、安全可靠的大數據平臺。通過閱讀本書，一定能從本書的內容中找到靈感和思路來應對實際工作中面對的問題。
機械工業(yè)出版社企業(yè)級大數據平臺構建:架構與實現 內容簡介
《企業(yè)級大數據平臺構建：架構與實現》是一部教你如何從0到1架構與實現一個企業(yè)級大數據平臺的著作，是作者在大數據和系統(tǒng)架構領域工作超過20000小時的經驗總結。
作者朱凱從橫向視角出發(fā)，手把手教你如何拉通Hadoop體系技術棧，以此搭建一個真實可用、安全可靠的大數據平臺。通過閱讀本書，大家一定能找到靈感和思路來應對實際工作中面對的問題。
本書在邏輯上分為三大部分：
背景篇（靠前～2章）：簡單闡述了企業(yè)級大數據平臺的重要性，并指出了作為一個企業(yè)級大數據平臺應當具備的能力。接著拋磚引玉介紹了通過Hadoop生態(tài)體系去構建一個企業(yè)級大數據平臺可以使用的技術棧的核心概念，如HDFS、HBase、Spark等。
方法篇（第3～6章）：詳細講解了集群服務、安所有渠道關、服務授權、Kerberos認證、單點登錄和集群用戶整合等各個方面的背景知識與配置整合步驟。
擴展篇（第7～8章）：介紹了如何用編寫Restful服務的形式進一步擴展平臺功能的一些思路，以便提高平臺的易用性和可用性。
機械工業(yè)出版社企業(yè)級大數據平臺構建:架構與實現 目錄
目 錄?Contents
推薦序 思者常新，厚積薄發(fā)
前 言
第1章 淺談企業(yè)級大數據平臺的重要性 1
1.1 缺乏統(tǒng)一大數據平臺的問題 2
1.1.1 資源浪費 2
1.1.2 數據孤島 2
1.1.3 服務孤島 3
1.1.4 安全存疑 3
1.1.5 缺乏可維護性和可擴展性 3
1.1.6 缺乏可復制性 4
1.2 構建統(tǒng)一大數據平臺的優(yōu)勢 4
1.3 企業(yè)級大數據平臺需要具備的基本能力 6
1.3.1 集群管理與監(jiān)控 7
1.3.2 數據接入 7
1.3.3 數據存儲與查詢 7
1.3.4 數據計算 8
1.3.5 平臺安全與管理 10
1.4 平臺輔助工具 12
1.5 本章小結 13
第2章 企業(yè)級大數據平臺技術棧介紹 15
2.1 HDFS 16
2.1.1 概述 16
2.1.2 RAID技術 17
2.1.3 核心設計目標 18
2.1.4 命名空間 19
2.1.5 數據模型 20
2.1.6 Namenode和Datanode 20
2.1.7 使用場景 21
2.2 Zookeeper 22
2.2.1 概述 22
2.2.2 核心特性 23
2.2.3 命名空間 24
2.2.4 數據模型 24
2.2.5 節(jié)點狀態(tài)監(jiān)聽 25
2.2.6 原子消息廣播協議 25
2.2.7 使用場景 32
2.3 HBase 33
2.3.1 概述 33
2.3.2 數據模型 34
2.3.3 Regions 34
2.3.4 HBase Master 35
2.3.5 Region Server 36
2.3.6 MemStore與HFile 37
2.3.7 使用場景 37
2.4 YARN 38
2.4.1 概述 38
2.4.2 資源模型和Container 40
2.4.3 ResourceManager 40
2.4.4 ApplicationMaster 40
2.4.5 NodeManager 41
2.4.6 單一集群架構 41
2.4.7 工作流程 41
2.4.8 使用場景 43
2.5 Spark 43
2.5.1 概述 43
2.5.2 數據模型 45
2.5.3 編程模型和作業(yè)調度 45
2.5.4 依賴 46
2.5.5 容錯 47
2.5.6 集群模式 47
2.5.7 使用場景 48
2.6 本章小結 49
第3章 使用Ambari安裝Hadoop集群 50
3.1 概述 50
3.2 集群設計 52
3.2.1 主控節(jié)點 52
3.2.2 存儲與計算節(jié)點 53
3.2.3 安全認證與管理節(jié)點 54
3.2.4 協同管理與其他節(jié)點 54
3.3 Ambari的安裝、配置與啟動 55
3.3.1 安裝前的準備 55
3.3.2 安裝Ambari-Server 62
3.3.3 Ambari-Server目錄結構 64
3.3.4 配置Ambari-Server 65
3.3.5 啟動Ambari-Server 66
3.4 新建集群 67
3.4.1 設置集群名稱并配置HDP安裝包 67
3.4.2 配置集群 69
3.5 Ambari控制臺功能簡介 77
3.5.1 集群服務管理 78
3.5.2 集群服務配置 80
3.5.3 輔助工具 82
3.6 本章小結 86
第4章 構建企業(yè)級平臺安全方案 87
4.1 淺談企業(yè)級大數據平臺面臨的安全隱患 88
4.1.1 缺乏統(tǒng)一的訪問控制機制 88
4.1.2 缺乏統(tǒng)一的資源授權策略 88
4.1.3 缺乏Hadoop服務安全保障 89
4.2 初級安全方案 89
4.2.1 訪問控制 89
4.2.2 數據授權與管理 97
4.3 本章小結 110
第5章 Hadoop服務安全方案 111
5.1 Kerberos協議簡介 111
5.2 使用FreeIPA安裝Kerberos和LDAP 113
5.2.1 安裝FreeIPA 115
5.2.2 IPA-Server管理控制臺功能介紹 119
5.2.3 IPA CLI功能介紹 122
5.3 開啟Ambari的Kerberos安全選項 127
5.3.1 集成前的準備 127
5.3.2 集成IPA 129
5.3.3 測試Kerberos認證 133
5.4 本章小結 136
第6章 單點登錄與用戶管理 137
6.1 集成單點登錄 139
6.1.1 CAS簡介 140
6.1.2 安裝CAS-Server 141
6.1.3 集成Knox網關與CAS-
Server 148
6.1.4 集成Ranger與CAS-Server 151
6.1.5 集成Ambari與CAS-Server 152
6.2 實現統(tǒng)一的用戶管理系統(tǒng) 155
6.3 使用Java程序調用腳本 161
6.4 創(chuàng)建Ranger擴展用戶 166
6.5 本章小結 169
第7章 搭建平臺管理端RESTful服務 170
7.1 搭建RESTful服務框架 170
7.2 用戶查詢 174
7.2.1 引入LDAP模塊 174
7.2.2 配置LDAP 174
7.2.3 實現持久層 177
7.2.4 實現服務層 181
7.2.5 實現RESTful服務 181
7.2.6 整合用戶管理 183
7.3 RESTful服務安全認證 184
7.3.1 用戶登錄服務 185
7.3.2 使用JWT認證 185
7.3.3 創(chuàng)建用戶登錄RESTful服務 188
7.3.4 認證過濾器 194
7.3.5 測試服務安全認證 198
7.4 數據倉庫數據查詢 200
7.4.1 創(chuàng)建JDBC連接 200
7.4.2 Kerberos登錄 202
7.4.3 使用JDBC協議查詢 202
7.4.4 實現服務層與RESTful服務 206
7.4.5 測試查詢 207
7.5 數據倉庫元數據查詢 208
7.5.1 使用query服務查詢數倉元數據 208
7.5.2 引入JdbcTemplate模塊 209
7.5.3 增加Hive元數據庫配置 210
7.5.4 實現元數據持久層 211
7.5.5 實現元數據服務層與RESTful服務 216
7.5.6 測試元數據查詢 218
7.6 本章小結 219
第8章 Spark任務與調度服務 220
8.1 提交Spark任務的3種方式 220
8.1.1 使用Spark-Submit腳本提交 220
8.1.2 使用Spark Client提交 226
8.1.3 使用YARN RESTful API提交 229
8.2 查詢Spark日志 234
8.3 任務調度 236
8.3.1 引入Quartz模塊 237
8.3.2 增加Quartz配置 237
8.3.
推薦序 思者常新，厚積薄發(fā)
前 言
第1章 淺談企業(yè)級大數據平臺的重要性 1
1.1 缺乏統(tǒng)一大數據平臺的問題 2
1.1.1 資源浪費 2
1.1.2 數據孤島 2
1.1.3 服務孤島 3
1.1.4 安全存疑 3
1.1.5 缺乏可維護性和可擴展性 3
1.1.6 缺乏可復制性 4
1.2 構建統(tǒng)一大數據平臺的優(yōu)勢 4
1.3 企業(yè)級大數據平臺需要具備的基本能力 6
1.3.1 集群管理與監(jiān)控 7
1.3.2 數據接入 7
1.3.3 數據存儲與查詢 7
1.3.4 數據計算 8
1.3.5 平臺安全與管理 10
1.4 平臺輔助工具 12
1.5 本章小結 13
第2章 企業(yè)級大數據平臺技術棧介紹 15
2.1 HDFS 16
2.1.1 概述 16
2.1.2 RAID技術 17
2.1.3 核心設計目標 18
2.1.4 命名空間 19
2.1.5 數據模型 20
2.1.6 Namenode和Datanode 20
2.1.7 使用場景 21
2.2 Zookeeper 22
2.2.1 概述 22
2.2.2 核心特性 23
2.2.3 命名空間 24
2.2.4 數據模型 24
2.2.5 節(jié)點狀態(tài)監(jiān)聽 25
2.2.6 原子消息廣播協議 25
2.2.7 使用場景 32
2.3 HBase 33
2.3.1 概述 33
2.3.2 數據模型 34
2.3.3 Regions 34
2.3.4 HBase Master 35
2.3.5 Region Server 36
2.3.6 MemStore與HFile 37
2.3.7 使用場景 37
2.4 YARN 38
2.4.1 概述 38
2.4.2 資源模型和Container 40
2.4.3 ResourceManager 40
2.4.4 ApplicationMaster 40
2.4.5 NodeManager 41
2.4.6 單一集群架構 41
2.4.7 工作流程 41
2.4.8 使用場景 43
2.5 Spark 43
2.5.1 概述 43
2.5.2 數據模型 45
2.5.3 編程模型和作業(yè)調度 45
2.5.4 依賴 46
2.5.5 容錯 47
2.5.6 集群模式 47
2.5.7 使用場景 48
2.6 本章小結 49
第3章 使用Ambari安裝Hadoop集群 50
3.1 概述 50
3.2 集群設計 52
3.2.1 主控節(jié)點 52
3.2.2 存儲與計算節(jié)點 53
3.2.3 安全認證與管理節(jié)點 54
3.2.4 協同管理與其他節(jié)點 54
3.3 Ambari的安裝、配置與啟動 55
3.3.1 安裝前的準備 55
3.3.2 安裝Ambari-Server 62
3.3.3 Ambari-Server目錄結構 64
3.3.4 配置Ambari-Server 65
3.3.5 啟動Ambari-Server 66
3.4 新建集群 67
3.4.1 設置集群名稱并配置HDP安裝包 67
3.4.2 配置集群 69
3.5 Ambari控制臺功能簡介 77
3.5.1 集群服務管理 78
3.5.2 集群服務配置 80
3.5.3 輔助工具 82
3.6 本章小結 86
第4章 構建企業(yè)級平臺安全方案 87
4.1 淺談企業(yè)級大數據平臺面臨的安全隱患 88
4.1.1 缺乏統(tǒng)一的訪問控制機制 88
4.1.2 缺乏統(tǒng)一的資源授權策略 88
4.1.3 缺乏Hadoop服務安全保障 89
4.2 初級安全方案 89
4.2.1 訪問控制 89
4.2.2 數據授權與管理 97
4.3 本章小結 110
第5章 Hadoop服務安全方案 111
5.1 Kerberos協議簡介 111
5.2 使用FreeIPA安裝Kerberos和LDAP 113
5.2.1 安裝FreeIPA 115
5.2.2 IPA-Server管理控制臺功能介紹 119
5.2.3 IPA CLI功能介紹 122
5.3 開啟Ambari的Kerberos安全選項 127
5.3.1 集成前的準備 127
5.3.2 集成IPA 129
5.3.3 測試Kerberos認證 133
5.4 本章小結 136
第6章 單點登錄與用戶管理 137
6.1 集成單點登錄 139
6.1.1 CAS簡介 140
6.1.2 安裝CAS-Server 141
6.1.3 集成Knox網關與CAS-
Server 148
6.1.4 集成Ranger與CAS-Server 151
6.1.5 集成Ambari與CAS-Server 152
6.2 實現統(tǒng)一的用戶管理系統(tǒng) 155
6.3 使用Java程序調用腳本 161
6.4 創(chuàng)建Ranger擴展用戶 166
6.5 本章小結 169
第7章 搭建平臺管理端RESTful服務 170
7.1 搭建RESTful服務框架 170
7.2 用戶查詢 174
7.2.1 引入LDAP模塊 174
7.2.2 配置LDAP 174
7.2.3 實現持久層 177
7.2.4 實現服務層 181
7.2.5 實現RESTful服務 181
7.2.6 整合用戶管理 183
7.3 RESTful服務安全認證 184
7.3.1 用戶登錄服務 185
7.3.2 使用JWT認證 185
7.3.3 創(chuàng)建用戶登錄RESTful服務 188
7.3.4 認證過濾器 194
7.3.5 測試服務安全認證 198
7.4 數據倉庫數據查詢 200
7.4.1 創(chuàng)建JDBC連接 200
7.4.2 Kerberos登錄 202
7.4.3 使用JDBC協議查詢 202
7.4.4 實現服務層與RESTful服務 206
7.4.5 測試查詢 207
7.5 數據倉庫元數據查詢 208
7.5.1 使用query服務查詢數倉元數據 208
7.5.2 引入JdbcTemplate模塊 209
7.5.3 增加Hive元數據庫配置 210
7.5.4 實現元數據持久層 211
7.5.5 實現元數據服務層與RESTful服務 216
7.5.6 測試元數據查詢 218
7.6 本章小結 219
第8章 Spark任務與調度服務 220
8.1 提交Spark任務的3種方式 220
8.1.1 使用Spark-Submit腳本提交 220
8.1.2 使用Spark Client提交 226
8.1.3 使用YARN RESTful API提交 229
8.2 查詢Spark日志 234
8.3 任務調度 236
8.3.1 引入Quartz模塊 237
8.3.2 增加Quartz配置 237
8.3.
展開全部
機械工業(yè)出版社企業(yè)級大數據平臺構建:架構與實現 作者簡介
朱凱，資深大數據專家和架構師，現就職于遠光軟件，擔任大數據事業(yè)平臺部副總經理。 擁有10年IT從業(yè)經驗，精通大數據、Java、Node.JS等技術。對大數據領域的主流技術與解決方案有深入研究，擅長分布式系統(tǒng)的架構設計與整合。曾主導過多款大數據平臺級產品的規(guī)劃設計與研發(fā)工作，一線實戰(zhàn)經驗豐富。
書友推薦
- >
中國歷史的瞬間
- >
龍榆生：詞曲概論/大家小書
- >
中國人在烏蘇里邊疆區(qū):歷史與人類學概述
- >
姑媽的寶刀
- >
伊索寓言-世界文學名著典藏-全譯本
- >
月亮虎
- >
經典常談
- >
小考拉的故事-套裝共3冊
本類暢銷
