中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
買過本商品的人還買了
大數據平臺運維(高級) 版權信息
- ISBN：9787121426285
- 條形碼：9787121426285 ; 978-7-121-42628-5
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
大數據平臺運維(高級) 內容簡介
本書為"1+X”職業技能等級證書配套教材，按國家"1+X”大數據平臺運維職業技能等級標準編寫。本書屬于大數據平臺運維初級教材，從大數據平臺運維工程師角度由淺入深、全方位地介紹大數據平臺運維的相關基礎知識和基本實操。本書共分6個部分18章，**部分為大數據平臺安裝，涉及平臺操作系統的使用、Hadoop平臺安裝、平臺基礎環境配置；第二部分為大數據平臺配置，涉及Hadoop文件參數配置、Hadoop集群運行；第三部分為大數據平臺組件的安裝與配置，涉及Hive、HBase、ZooKeeper、Sqoop和Flume組件的安裝與配置；第四部分為大數據平臺實施，涉及大數據平臺實施方案、培訓方案；第五部分為大數據平臺監控，涉及基于大數據平臺的監控命令、監控界面和報表、日志和告警信息監控；第六部分為大數據運維綜合實戰案例，以實際項目為例介紹從平臺部署、數據業務采集、數據分析到數據可視化的整體基礎實施過程，并介紹了大數據平臺運維的常見故障及處理流程。 本書可作為中高職院校大數據及計算機類相關專業的教材，也可作為大數據平臺運維人員的參考用書。
大數據平臺運維(高級) 目錄
目錄
**部分 大數據平臺架構
第1章 Hadoop集群選型 2
1.1 Hadoop 集群概述 2
1.1.1 Cloudera Hadoop發行版
CDH簡介 2
1.1.2 CDH 特性 3
1.1.3 CDH 版本演進 3
1.1.4 CDH 和 Apache Hadoop 對比 4
1.1.5 Cloudera Manager 簡介 4
1.2 Hadoop 集群硬件設計概述 5
1.3 大數據平臺硬件選型 6
1.4 集群硬件配置方案制定 7
1.5 大數據集群網絡方案設計 8
1.5.1 網絡平面設計 8
1.5.2 機架部署設計 8
1.5.3 Hadoop集群網絡規范 8
1.5.4 大數據集群網絡部署實例 10
1.6 大數據集群網絡高可用方案
設計 11
1.6.1 集群主機和角色分布 11
1.6.2 集群高可用方案設計 11
1.7 本章小結 12
第2章 Hadoop平臺架構設計 13
2.1 Hadoop 集群節點高可用方案
規劃設計 13
2.2 Hadoop集群容量方案規劃
設計 14
2.2.1 小規模集群規劃設計 14
2.2.2 中等規模集群規劃設計 15
2.2.3 大規模集群規劃設計 16
2.3 Hadoop行業方案規劃設計 17
2.4 Hadoop企業方案規劃設計 21
2.4.1 企業大數據平臺易產生的
缺陷 21
2.4.2 企業大數據平臺架構思想 22
2.4.3 企業大數據平臺能力需求 23
2.4.4 企業大數據平臺設計方案 24
2.5 本章小結 26
第3章 Hadoop組件部署規劃 27
3.1 Hadoop 集群組件選擇 27
3.1.1 CDH 集群 27
3.1.2 CDH 組件 28
3.2 Hadoop 集群版本選擇 32
3.3 Hadoop 生態組件的工作原理 32
3.3.1 生態體系 32
3.3.2 各層相關組件概念及原理 32
3.4 Hadoop 生態圈的發展趨勢 37
3.5 本章小結 37
第二部分 大數據平臺安全管理
第4章 大數據平臺安全體系 40
4.1 安全與認證概述 40
4.1.1 安全要求 40
4.1.2 安全等級 41
4.1.3 認證概述 41
4.2 Hadoop 安全背景 41
4.2.1 Hadoop 安全背景 41
4.2.2 Hadoop 安全架構 42
4.2.3 Hadoop 安全機制 43
4.3 安全認證 43
4.3.1 身份驗證協議(Kerberos) 43
4.3.2 Hadoop 安全機制的具體
實現 48
4.3.3 Hadoop 安全機制的應用
場景 50
4.4 認證方式 52
4.4.1 Kerberos 安全工件 52
4.4.2 Kerberos 主體 52
4.5 本章小結 53
第5章 大數據平臺安全實戰 54
5.1 Kerberos 安裝部署 54
5.1.1 集群環境準備 55
5.1.2 Kerberos 安裝 55
5.2 HDFS 配置 Kerberos 60
5.2.1 創建認證規則 60
5.2.2 認證規則配置實現 60
5.2.3 創建 keytab 文件 61
5.2.4 部署 Kerberos keytab 文件 62
5.2.5 修改 HDFS 配置文件 62
5.2.6 啟動 NameNode 64
5.2.7 啟動 DataNode 65
5.3 YARN 配置 Kerberos 66
5.3.1 生成 keytab 66
5.3.2 修改 YARN 配置文件 67
5.3.3 啟動服務 69
5.3.4 測試 69
5.4 本章小結 70
第6章 大數據平臺治理 71
6.1 大數據數據資產概述 71
6.1.1 數據資產定義 71
6.1.2 數據資產管理五星模型 72
6.1.3 大數據資產管理框架 75
6.2 大數據平臺管理體系 76
6.2.1 大數據標準體系框架 76
6.2.2 大數據平臺關鍵技術 78
6.2.3 面向特定領域大數據參考
架構 81
6.3 大數據的數據共享與開放 83
6.3.1 數據共享開放概述 83
6.3.2 政府數據開放共享發展
歷程 84
6.3.3 數據開放共享主要實現
方式 85
6.3.4 大數據開放共享困境 87
6.4 大數據安全與隱私保護 88
6.4.1 大數據安全與隱私問題
現狀 88
6.4.2 大數據安全技術總體視圖 89
6.4.3 開源大數據平臺安全方案 90
6.5 本章小結 92
第三部分 大數據平臺資源治理
第7章 大數據平臺資源治理 94
7.1 大數據平臺資源治理概述 94
7.1.1 資源統一管理與調度 94
7.1.2 資源管理調度模型框架 96
7.2 資源管理調度技術框架 99
7.2.1 Hadoop 資源管理調度架構 99
7.2.2 YARN 資源隔離 101
7.2.3 YARN 資源調度策略 102
7.3 Spark 內存管理模型 107
7.3.1 Spark 內存管理模型概述 107
7.3.2 靜態資源管理模型 108
7.3.3 動態資源管理模型 110
7.4 本章小結 111
第8章 大數據平臺數據治理 112
8.1 數據治理綜述 112
8.2 數據治理標準及框架 114
8.2.1 數據管理能力成熟度評估
模型(DCMM) 114
8.2.2 GB/T 34960 數據治理規范 115
8.2.3 DAMA 數據管理理論框架 116
8.2.4 數據資產管理體系架構 116
8.3 數據治理核心工具 117
8.3.1 數據模型管理工具 117
8.3.2 元數據管理工具 118
8.3.3 數據質量管理工具 119
8.3.4 數據標準管理工具 120
8.3.5 主數據管理工具 121
8.3.6 數據安全管理工具 122
8.3.7 數據服務平臺工具 123
8.4 高校數據治理實踐 124
8.4.1 背景介紹 124
8.4.2 數據治理解決方案 125
8.5 本章小結 127
第四部分 大數據平臺優化
第9章 Linux系統優化 130
9.1 swap 分區優化 130
9.1.1 swap 分區簡介 130
9.1.2 swap 分區的優化 131
9.2 內存分配策略調整 132
9.2.1 內存分頁 132
9.2.2 臟頁 133
9.2.3 臟頁參數優化 134
9.3 Socket 監聽參數修改 134
9.3.1 什么是 Socket 134
9.3.2 Socket 讀寫緩沖區調優 135
9.4 打開文件描述符的上限優化 137
9.4.1 什么是文件描述符 137
9.4.2 可打開文件描述符的數目
優化 137
9.5 Transparent Huge Pages 優化 138
9.5.1 Transparent Huge Pages
簡介 138
9.5.2 Transparent Huge Pages 對
系統的影響 139
9.5.3 禁用 Transparent Huge
Pages 139
9.6 本章小結 140
第10章 Hadoop應用程序優化 141
10.1 減少大量小文件輸入 141
10.1.1 HDFS 上的小文件問題 141
10.1.2 小文件問題解決方案 142
10.2 合理分配分布式緩存 143
10.2.1 分布式緩存簡介 143
10.2.2 分布式緩存應用場景 144
10.2.3 分布式緩存的工作機制 144
10.2.4 分布式緩存實現 144
10.3 寫數據類型合理使用 145
10.3.1 Hadoop 中的寫數據類型
介紹 145
10.3.2 Java 基本數據類型的
Writable 封裝 145
10.3.3 自定義 Writable 數據類型 146
10.4 JVM 緩存調優 146
10.4.1 為什么需要 JVM 緩存
調優 146
10.4.2 JVM 緩存參數 147
10.4.3 JVM 調優的原則和步驟 148
10.5 本章小結 148
第11章 Hadoop組件性能優化 149
11.1 HDFS 集中緩存管理 149
11.1.1 HDFS 集中緩存簡介 149
11.1.2 HDFS 集中緩存架構及
概念定義 150
11.1.3 集中緩存配置 152
11.2 MapReduce 調度配置優化 153
11.2.1 MapReduce on YARN 調度
機制 153
11.2.2 公平調度器(Fair Scheduler)
153
11.2.3 容量調度器(Capacity
Scheduler) 156
11.2.4 先進先出調度器
(FIFO Scheduler) 158
11.3 YARN 內存配置優化 159
11.3.1 MapReduce on YARN 159
11.3.2 優化內存配置方法 160
11.4 Spark 程序優化 161
11.4.1 Spark 程序優化必要性 161
11.4.2 Spark 參數調優 162
11.4.3 環境變量配置 163
11.4.4 常用的可調優參數 163
11.5 本章小結 165
第五部分 大數據平臺升級
第12章 大數據備份和恢復 168
12.1 備份恢復概述 168
12.2 HDFS 備份恢復 168
12.2.1 HDFS 元數據備份恢復 168
12.2.2 HDFS 快照 171
12.2.3 HDFS 本地備份與恢復 173
12.2.4 Sqoop 增量導入 174
12.3 Hive元數據庫備份恢復 174
12.4 HBase 備份恢復 176
12.4.1 HBase 表備份恢復 176
12.4.2 HBase 快照 179
12.5 本章小結 181
第13章 大數據平臺核心升級 182
13.1 大數據平臺升級概述 182
13.2 評估升級的影響 183
13.3 升級平臺操作系統 184
13.4 升級準備工作 185
13.4.1 集群檢查 185
13.4.2 備份 CDH 187
13.4.3 備份 HDFS 188
13.4.4 備份 HBase 190
13.4.5 升級前相關組件手動
操作 195
13.4.6 準備 CDH6 的本地
yum 源 195
13.5 本章小結 197
第14章 大數據平臺及組件升級 198
14.1 HDFS 升級概述 198
14.1.1 不停機升級 198
14.1.2 停機升級 199
14.1.3 滾動升級的命令和啟動
選項 200
14.2 HDFS 升級 201
14.3 YARN 升級 203
14.4 ZooKeeper 升級 206
14.5 HBase 升級 206
14.5.1 HBase 版本號和兼容性 206
14.5.2 滾動升級 208
14.5.3 升級路徑 209
14.5.4 升級 HBase 操作 211
14.6 本章小結 212
第六部分 大數據平臺項目綜合案例
第15章 政務大數據運維項目實戰 214
15.1 政務項目背景和流程 214
15.1.1 背景介紹 214
15.1.2 政務項目開發流程 215
15.2 數據說明與預處理 215
15.2.1 數據說明 215
15.2.2 數據預處理 215
15.3 數據上傳 216
15.4 在 MySQL 中建庫 218
15.4.1 進入 MySQL Shell環境 218
15.4.2 創建一個數據庫 218
15.4.3 創建數據明細表 218
15.4.4 創建區域金額表 219
15.4.5 創建人員類型金額表 219
15.4.6 添加 MySQL 數據庫驅動
程序 JAR 包 219
15.5 通過 Spark 程序分析數據 220
15.5.1 新建項目 220
15.5.2 設置依賴包 221
15.5.3 設置項目目錄 222
15.5.4 新建 Scala 代碼文件 222
15.5.5 編寫 Scala 代碼文件 223
15.5.6 配置 pom.xml 文件 225
15.5.7 在 IDEA 中運行程序 227
15.6 查詢分析結果 228
15.7 本章小結 229
第16章 大數據平臺安全運維實戰 230
16.1 項目背景 230
16.1.1 大數據加大隱私泄露風險 230
16.1.2 大數據技術被應用到攻擊
手段中 230
16.1.3 認證授權能力弱 231
16.1.4 數據無加密 231
16.1.5 內部人員竊密 231
16.2 需求分析 231
16.3 Sentry 介紹 232
16.3.1 Sentry 架構概述 232
16.3.2 Sentry 關鍵概念 232
16.3.3 Sentry 與 Hadoop 生態系統
集成 233
16.3.4 Hive 和 Sentry 233
16.3.5 Sentry 和 HDFS 234
16.4 解決方案 235
16.4.1 總體設計 235
16.4.2 詳細設計 235
16.5 項目實施 236
16.5.1 用戶規劃 236
16.5.2 目錄規劃 237
16.5.3 HDFS 文件權限控制 237
16.5.4 HDFS ACL 權限設置 238
16.5.5 服務訪問控制授權 239
16.5.6 YARN 隊列訪問控制列表 240
16.5.7 安裝 Sentry 244
16.5.8 配置 Sentry 244
16.5.9 配置 Sentry 客戶端參數 245
16.5.10 配置 Hive 集群集成 Sentry 246
16.6 本章小結 250
第17章 商業大數據平臺運維實戰 251
17.1 集群狀態查看 251
17.1.1 檢查各服務的運行狀態 251
17.1.2 集群各個主機資源負載
情況 252
17.2 HDFS 運維與監控 253
17.2.1 HDFS 總體情況 253
17.2.2 HDFS 數據節點卷故障
檢查 254
17.2.3 HDFS 回收站管理 255
17.2.4 NameNode 重要監控 255
17.2.5 HDFS 數據塊檢查 256
17.2.6 HDFS 安全模式操作 259
17.3 YARN 運維與監控 259
17.3.1 YARN 總體情況 259
17.3.2 YARN 多租戶資源隊列
運維 260
17.4 HBase 運維與監控 262
17.4.1 HBase 總體情況 262
17.4.2 定位數據熱點 262
17.4.3 禁用 Major 合并 263
17.4.4 一致性檢查和不一致
修復 263
17.4.5 備份和恢復 264
17.4.6 數據快照 265
17.5 本章小結 266
展開全部
大數據平臺運維(高級) 作者簡介
新華三技術有限公司是紫光股份旗下新華三集團作為數字化解決方案領導者，致力于成為客戶業務創新、數字化轉型最可信賴的合作伙伴。新華三擁有計算、存儲、網絡、5G、安全等全方位的數字化基礎設施整體能力，提供云計算、大數據、人工智能、工業互聯網、信息安全、智能聯接、新安防、邊緣計算等在內的一站式數字化解決方案，以及端到端的技術服務。同時，新華三也是HPE?服務器、存儲和技術服務的中國**提供商。
書友推薦
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
二體千字文
- >
山海經
- >
朝聞道
- >
史學評論
- >
中國歷史的瞬間
- >
上帝之肋:男人的真實旅程
- >
巴金－再思錄
本類暢銷
