中图网(原中国图书网):网上书店,中文字幕在线一区二区三区,尾货特色书店,中文字幕在线一区,30万种特价书低至2折!

歡迎光臨中圖網 請 | 注冊

包郵 大數據平臺運維(高級)

出版社:電子工業出版社出版時間:2021-12-01
開本: 16開 頁數: 276
中 圖 價:¥44.1(7.4折) 定價  ¥59.8 登錄后可看到會員價
加入購物車 收藏
開年大促, 全場包郵
?新疆、西藏除外
本類五星書更多>
買過本商品的人還買了

大數據平臺運維(高級) 版權信息

大數據平臺運維(高級) 內容簡介

本書為"1+X”職業技能等級證書配套教材,按國家"1+X”大數據平臺運維職業技能等級標準編寫。本書屬于大數據平臺運維初級教材,從大數據平臺運維工程師角度由淺入深、全方位地介紹大數據平臺運維的相關基礎知識和基本實操。本書共分6個部分18章,**部分為大數據平臺安裝,涉及平臺操作系統的使用、Hadoop平臺安裝、平臺基礎環境配置;第二部分為大數據平臺配置,涉及Hadoop文件參數配置、Hadoop集群運行;第三部分為大數據平臺組件的安裝與配置,涉及Hive、HBase、ZooKeeper、Sqoop和Flume組件的安裝與配置;第四部分為大數據平臺實施,涉及大數據平臺實施方案、培訓方案;第五部分為大數據平臺監控,涉及基于大數據平臺的監控命令、監控界面和報表、日志和告警信息監控;第六部分為大數據運維綜合實戰案例,以實際項目為例介紹從平臺部署、數據業務采集、數據分析到數據可視化的整體基礎實施過程,并介紹了大數據平臺運維的常見故障及處理流程。 本書可作為中高職院校大數據及計算機類相關專業的教材,也可作為大數據平臺運維人員的參考用書。

大數據平臺運維(高級) 目錄

目錄 **部分 大數據平臺架構 第1章 Hadoop集群選型 2 1.1 Hadoop 集群概述 2 1.1.1 Cloudera Hadoop發行版 CDH簡介 2 1.1.2 CDH 特性 3 1.1.3 CDH 版本演進 3 1.1.4 CDH 和 Apache Hadoop 對比 4 1.1.5 Cloudera Manager 簡介 4 1.2 Hadoop 集群硬件設計概述 5 1.3 大數據平臺硬件選型 6 1.4 集群硬件配置方案制定 7 1.5 大數據集群網絡方案設計 8 1.5.1 網絡平面設計 8 1.5.2 機架部署設計 8 1.5.3 Hadoop集群網絡規范 8 1.5.4 大數據集群網絡部署實例 10 1.6 大數據集群網絡高可用方案 設計 11 1.6.1 集群主機和角色分布 11 1.6.2 集群高可用方案設計 11 1.7 本章小結 12 第2章 Hadoop平臺架構設計 13 2.1 Hadoop 集群節點高可用方案 規劃設計 13 2.2 Hadoop集群容量方案規劃 設計 14 2.2.1 小規模集群規劃設計 14 2.2.2 中等規模集群規劃設計 15 2.2.3 大規模集群規劃設計 16 2.3 Hadoop行業方案規劃設計 17 2.4 Hadoop企業方案規劃設計 21 2.4.1 企業大數據平臺易產生的 缺陷 21 2.4.2 企業大數據平臺架構思想 22 2.4.3 企業大數據平臺能力需求 23 2.4.4 企業大數據平臺設計方案 24 2.5 本章小結 26 第3章 Hadoop組件部署規劃 27 3.1 Hadoop 集群組件選擇 27 3.1.1 CDH 集群 27 3.1.2 CDH 組件 28 3.2 Hadoop 集群版本選擇 32 3.3 Hadoop 生態組件的工作原理 32 3.3.1 生態體系 32 3.3.2 各層相關組件概念及原理 32 3.4 Hadoop 生態圈的發展趨勢 37 3.5 本章小結 37 第二部分 大數據平臺安全管理 第4章 大數據平臺安全體系 40 4.1 安全與認證概述 40 4.1.1 安全要求 40 4.1.2 安全等級 41 4.1.3 認證概述 41 4.2 Hadoop 安全背景 41 4.2.1 Hadoop 安全背景 41 4.2.2 Hadoop 安全架構 42 4.2.3 Hadoop 安全機制 43 4.3 安全認證 43 4.3.1 身份驗證協議(Kerberos) 43 4.3.2 Hadoop 安全機制的具體 實現 48 4.3.3 Hadoop 安全機制的應用 場景 50 4.4 認證方式 52 4.4.1 Kerberos 安全工件 52 4.4.2 Kerberos 主體 52 4.5 本章小結 53 第5章 大數據平臺安全實戰 54 5.1 Kerberos 安裝部署 54 5.1.1 集群環境準備 55 5.1.2 Kerberos 安裝 55 5.2 HDFS 配置 Kerberos 60 5.2.1 創建認證規則 60 5.2.2 認證規則配置實現 60 5.2.3 創建 keytab 文件 61 5.2.4 部署 Kerberos keytab 文件 62 5.2.5 修改 HDFS 配置文件 62 5.2.6 啟動 NameNode 64 5.2.7 啟動 DataNode 65 5.3 YARN 配置 Kerberos 66 5.3.1 生成 keytab 66 5.3.2 修改 YARN 配置文件 67 5.3.3 啟動服務 69 5.3.4 測試 69 5.4 本章小結 70 第6章 大數據平臺治理 71 6.1 大數據數據資產概述 71 6.1.1 數據資產定義 71 6.1.2 數據資產管理五星模型 72 6.1.3 大數據資產管理框架 75 6.2 大數據平臺管理體系 76 6.2.1 大數據標準體系框架 76 6.2.2 大數據平臺關鍵技術 78 6.2.3 面向特定領域大數據參考 架構 81 6.3 大數據的數據共享與開放 83 6.3.1 數據共享開放概述 83 6.3.2 政府數據開放共享發展 歷程 84 6.3.3 數據開放共享主要實現 方式 85 6.3.4 大數據開放共享困境 87 6.4 大數據安全與隱私保護 88 6.4.1 大數據安全與隱私問題 現狀 88 6.4.2 大數據安全技術總體視圖 89 6.4.3 開源大數據平臺安全方案 90 6.5 本章小結 92 第三部分 大數據平臺資源治理 第7章 大數據平臺資源治理 94 7.1 大數據平臺資源治理概述 94 7.1.1 資源統一管理與調度 94 7.1.2 資源管理調度模型框架 96 7.2 資源管理調度技術框架 99 7.2.1 Hadoop 資源管理調度架構 99 7.2.2 YARN 資源隔離 101 7.2.3 YARN 資源調度策略 102 7.3 Spark 內存管理模型 107 7.3.1 Spark 內存管理模型概述 107 7.3.2 靜態資源管理模型 108 7.3.3 動態資源管理模型 110 7.4 本章小結 111 第8章 大數據平臺數據治理 112 8.1 數據治理綜述 112 8.2 數據治理標準及框架 114 8.2.1 數據管理能力成熟度評估 模型(DCMM) 114 8.2.2 GB/T 34960 數據治理規范 115 8.2.3 DAMA 數據管理理論框架 116 8.2.4 數據資產管理體系架構 116 8.3 數據治理核心工具 117 8.3.1 數據模型管理工具 117 8.3.2 元數據管理工具 118 8.3.3 數據質量管理工具 119 8.3.4 數據標準管理工具 120 8.3.5 主數據管理工具 121 8.3.6 數據安全管理工具 122 8.3.7 數據服務平臺工具 123 8.4 高校數據治理實踐 124 8.4.1 背景介紹 124 8.4.2 數據治理解決方案 125 8.5 本章小結 127 第四部分 大數據平臺優化 第9章 Linux系統優化 130 9.1 swap 分區優化 130 9.1.1 swap 分區簡介 130 9.1.2 swap 分區的優化 131 9.2 內存分配策略調整 132 9.2.1 內存分頁 132 9.2.2 臟頁 133 9.2.3 臟頁參數優化 134 9.3 Socket 監聽參數修改 134 9.3.1 什么是 Socket 134 9.3.2 Socket 讀寫緩沖區調優 135 9.4 打開文件描述符的上限優化 137 9.4.1 什么是文件描述符 137 9.4.2 可打開文件描述符的數目 優化 137 9.5 Transparent Huge Pages 優化 138 9.5.1 Transparent Huge Pages 簡介 138 9.5.2 Transparent Huge Pages 對 系統的影響 139 9.5.3 禁用 Transparent Huge Pages 139 9.6 本章小結 140 第10章 Hadoop應用程序優化 141 10.1 減少大量小文件輸入 141 10.1.1 HDFS 上的小文件問題 141 10.1.2 小文件問題解決方案 142 10.2 合理分配分布式緩存 143 10.2.1 分布式緩存簡介 143 10.2.2 分布式緩存應用場景 144 10.2.3 分布式緩存的工作機制 144 10.2.4 分布式緩存實現 144 10.3 寫數據類型合理使用 145 10.3.1 Hadoop 中的寫數據類型 介紹 145 10.3.2 Java 基本數據類型的 Writable 封裝 145 10.3.3 自定義 Writable 數據類型 146 10.4 JVM 緩存調優 146 10.4.1 為什么需要 JVM 緩存 調優 146 10.4.2 JVM 緩存參數 147 10.4.3 JVM 調優的原則和步驟 148 10.5 本章小結 148 第11章 Hadoop組件性能優化 149 11.1 HDFS 集中緩存管理 149 11.1.1 HDFS 集中緩存簡介 149 11.1.2 HDFS 集中緩存架構及 概念定義 150 11.1.3 集中緩存配置 152 11.2 MapReduce 調度配置優化 153 11.2.1 MapReduce on YARN 調度 機制 153 11.2.2 公平調度器(Fair Scheduler) 153 11.2.3 容量調度器(Capacity Scheduler) 156 11.2.4 先進先出調度器 (FIFO Scheduler) 158 11.3 YARN 內存配置優化 159 11.3.1 MapReduce on YARN 159 11.3.2 優化內存配置方法 160 11.4 Spark 程序優化 161 11.4.1 Spark 程序優化必要性 161 11.4.2 Spark 參數調優 162 11.4.3 環境變量配置 163 11.4.4 常用的可調優參數 163 11.5 本章小結 165 第五部分 大數據平臺升級 第12章 大數據備份和恢復 168 12.1 備份恢復概述 168 12.2 HDFS 備份恢復 168 12.2.1 HDFS 元數據備份恢復 168 12.2.2 HDFS 快照 171 12.2.3 HDFS 本地備份與恢復 173 12.2.4 Sqoop 增量導入 174 12.3 Hive元數據庫備份恢復 174 12.4 HBase 備份恢復 176 12.4.1 HBase 表備份恢復 176 12.4.2 HBase 快照 179 12.5 本章小結 181 第13章 大數據平臺核心升級 182 13.1 大數據平臺升級概述 182 13.2 評估升級的影響 183 13.3 升級平臺操作系統 184 13.4 升級準備工作 185 13.4.1 集群檢查 185 13.4.2 備份 CDH 187 13.4.3 備份 HDFS 188 13.4.4 備份 HBase 190 13.4.5 升級前相關組件手動 操作 195 13.4.6 準備 CDH6 的本地 yum 源 195 13.5 本章小結 197 第14章 大數據平臺及組件升級 198 14.1 HDFS 升級概述 198 14.1.1 不停機升級 198 14.1.2 停機升級 199 14.1.3 滾動升級的命令和啟動 選項 200 14.2 HDFS 升級 201 14.3 YARN 升級 203 14.4 ZooKeeper 升級 206 14.5 HBase 升級 206 14.5.1 HBase 版本號和兼容性 206 14.5.2 滾動升級 208 14.5.3 升級路徑 209 14.5.4 升級 HBase 操作 211 14.6 本章小結 212 第六部分 大數據平臺項目綜合案例 第15章 政務大數據運維項目實戰 214 15.1 政務項目背景和流程 214 15.1.1 背景介紹 214 15.1.2 政務項目開發流程 215 15.2 數據說明與預處理 215 15.2.1 數據說明 215 15.2.2 數據預處理 215 15.3 數據上傳 216 15.4 在 MySQL 中建庫 218 15.4.1 進入 MySQL Shell環境 218 15.4.2 創建一個數據庫 218 15.4.3 創建數據明細表 218 15.4.4 創建區域金額表 219 15.4.5 創建人員類型金額表 219 15.4.6 添加 MySQL 數據庫驅動 程序 JAR 包 219 15.5 通過 Spark 程序分析數據 220 15.5.1 新建項目 220 15.5.2 設置依賴包 221 15.5.3 設置項目目錄 222 15.5.4 新建 Scala 代碼文件 222 15.5.5 編寫 Scala 代碼文件 223 15.5.6 配置 pom.xml 文件 225 15.5.7 在 IDEA 中運行程序 227 15.6 查詢分析結果 228 15.7 本章小結 229 第16章 大數據平臺安全運維實戰 230 16.1 項目背景 230 16.1.1 大數據加大隱私泄露風險 230 16.1.2 大數據技術被應用到攻擊 手段中 230 16.1.3 認證授權能力弱 231 16.1.4 數據無加密 231 16.1.5 內部人員竊密 231 16.2 需求分析 231 16.3 Sentry 介紹 232 16.3.1 Sentry 架構概述 232 16.3.2 Sentry 關鍵概念 232 16.3.3 Sentry 與 Hadoop 生態系統 集成 233 16.3.4 Hive 和 Sentry 233 16.3.5 Sentry 和 HDFS 234 16.4 解決方案 235 16.4.1 總體設計 235 16.4.2 詳細設計 235 16.5 項目實施 236 16.5.1 用戶規劃 236 16.5.2 目錄規劃 237 16.5.3 HDFS 文件權限控制 237 16.5.4 HDFS ACL 權限設置 238 16.5.5 服務訪問控制授權 239 16.5.6 YARN 隊列訪問控制列表 240 16.5.7 安裝 Sentry 244 16.5.8 配置 Sentry 244 16.5.9 配置 Sentry 客戶端參數 245 16.5.10 配置 Hive 集群集成 Sentry 246 16.6 本章小結 250 第17章 商業大數據平臺運維實戰 251 17.1 集群狀態查看 251 17.1.1 檢查各服務的運行狀態 251 17.1.2 集群各個主機資源負載 情況 252 17.2 HDFS 運維與監控 253 17.2.1 HDFS 總體情況 253 17.2.2 HDFS 數據節點卷故障 檢查 254 17.2.3 HDFS 回收站管理 255 17.2.4 NameNode 重要監控 255 17.2.5 HDFS 數據塊檢查 256 17.2.6 HDFS 安全模式操作 259 17.3 YARN 運維與監控 259 17.3.1 YARN 總體情況 259 17.3.2 YARN 多租戶資源隊列 運維 260 17.4 HBase 運維與監控 262 17.4.1 HBase 總體情況 262 17.4.2 定位數據熱點 262 17.4.3 禁用 Major 合并 263 17.4.4 一致性檢查和不一致 修復 263 17.4.5 備份和恢復 264 17.4.6 數據快照 265 17.5 本章小結 266
展開全部

大數據平臺運維(高級) 作者簡介

新華三技術有限公司是紫光股份旗下新華三集團作為數字化解決方案領導者,致力于成為客戶業務創新、數字化轉型最可信賴的合作伙伴。新華三擁有計算、存儲、網絡、5G、安全等全方位的數字化基礎設施整體能力,提供云計算、大數據、人工智能、工業互聯網、信息安全、智能聯接、新安防、邊緣計算等在內的一站式數字化解決方案,以及端到端的技術服務。同時,新華三也是HPE?服務器、存儲和技術服務的中國**提供商。

商品評論(0條)
暫無評論……
書友推薦
本類暢銷
編輯推薦
返回頂部
中圖網
在線客服
主站蜘蛛池模板: 气象监测系统_气象传感器_微型气象仪_气象环境监测仪-山东风途物联网 | 小区健身器材_户外健身器材_室外健身器材_公园健身路径-沧州浩然体育器材有限公司 | 工业PH计|工业ph酸度计|在线PH计价格-合肥卓尔仪器仪表有限公司 济南画室培训-美术高考培训-山东艺霖艺术培训画室 | 上海盐水喷雾试验机_两厢式冷热冲击试验箱-巨怡环试 | 北京燃气公司 用户服务中心| 武汉画册印刷厂家-企业画册印刷-画册设计印刷制作-宣传画册印刷公司 - 武汉泽雅印刷厂 | 氧化锆陶瓷_氧化锆陶瓷加工_氧化锆陶瓷生产厂家-康柏工业陶瓷有限公司 | B2B网站_B2B免费发布信息网站_B2B企业贸易平台 - 企资网 | 精密冲床,高速冲床等冲压设备生产商-常州晋志德压力机厂 | 长沙广告公司|长沙广告制作设计|长沙led灯箱招牌制作找望城湖南锦蓝广告装饰工程有限公司 | 船用锚链|专业锚链生产厂家|安徽亚太锚链制造有限公司 | 厌氧反应器,IC厌氧反应器,厌氧三相分离器-山东创博环保科技有限公司 | 【电子厂招聘_普工招工网_工厂招聘信息平台】-工立方打工网 | 呼末二氧化碳|ETCO2模块采样管_气体干燥管_气体过滤器-湖南纳雄医疗器械有限公司 | 哈尔滨发电机,黑龙江柴油发电机组-北方星光 | 福建成考网-福建成人高考网 | 作文导航网_作文之家_满分作文_优秀作文_作文大全_作文素材_最新作文分享发布平台 | 黄石东方妇产医院_黄石妇科医院哪家好_黄石无痛人流医院 | 网站建设,北京网站建设,北京网站建设公司,网站系统开发,北京网站制作公司,响应式网站,做网站公司,海淀做网站,朝阳做网站,昌平做网站,建站公司 | 桁架机器人_桁架机械手_上下料机械手_数控车床机械手-苏州清智科技装备制造有限公司 | 成都亚克力制品,PVC板,双色板雕刻加工,亚克力门牌,亚克力标牌,水晶字雕刻制作-零贰捌广告 | cnc精密加工_数控机械加工_非标平键定制生产厂家_扬州沃佳机械有限公司 | Magnescale探规,Magnescale磁栅尺,Magnescale传感器,Magnescale测厚仪,Mitutoyo光栅尺,笔式位移传感器-苏州连达精密量仪有限公司 | 化工ERP软件_化工新材料ERP系统_化工新材料MES软件_MES系统-广东顺景软件科技有限公司 | 大型工业风扇_工业大风扇_大吊扇_厂房车间降温-合昌大风扇 | 液压油缸-液压站生产厂家-洛阳泰诺液压科技有限公司 | 水厂污泥地磅|污泥处理地磅厂家|地磅无人值守称重系统升级改造|地磅自动称重系统维修-河南成辉电子科技有限公司 | 对辊破碎机-液压双辊式,强力双齿辊,四辊破碎机价格_巩义市金联机械设备生产厂家 | 聚合甘油__盐城市飞龙油脂有限公司 | MES系统-WMS系统-MES定制开发-制造执行MES解决方案-罗浮云计算 | 旋振筛|圆形摇摆筛|直线振动筛|滚筒筛|压榨机|河南天众机械设备有限公司 | 变色龙PPT-国内原创PPT模板交易平台 - PPT贰零 - 西安聚讯网络科技有限公司 | Trimos测长机_测高仪_TESA_mahr,WYLER水平仪,PWB对刀仪-德瑞华测量技术(苏州)有限公司 | 超声波清洗机-超声波清洗设备定制生产厂家 - 深圳市冠博科技实业有限公司 | 南京交通事故律师-专打交通事故的南京律师 | 物流公司电话|附近物流公司电话上门取货 | 大白菜官网,大白菜winpe,大白菜U盘装系统, u盘启动盘制作工具 | 耐酸泵,耐腐蚀真空泵,耐酸真空泵-淄博华舜耐腐蚀真空泵有限公司 精密模具-双色注塑模具加工-深圳铭洋宇通 | 鑫达滑石-辽宁鑫达滑石集团 | 高压贴片电容|贴片安规电容|三端滤波器|风华电容代理南京南山 | 信阳市建筑勘察设计研究院有限公司 |