中图网(原中国图书网):网上书店,中文字幕在线一区二区三区,尾货特色书店,中文字幕在线一区,30万种特价书低至2折!

歡迎光臨中圖網 請 | 注冊

包郵 大數據平臺運維(高級)

出版社:電子工業出版社出版時間:2021-12-01
開本: 16開 頁數: 276
中 圖 價:¥44.1(7.4折) 定價  ¥59.8 登錄后可看到會員價
加入購物車 收藏
開年大促, 全場包郵
?新疆、西藏除外
本類五星書更多>
買過本商品的人還買了

大數據平臺運維(高級) 版權信息

大數據平臺運維(高級) 內容簡介

本書為"1+X”職業技能等級證書配套教材,按國家"1+X”大數據平臺運維職業技能等級標準編寫。本書屬于大數據平臺運維初級教材,從大數據平臺運維工程師角度由淺入深、全方位地介紹大數據平臺運維的相關基礎知識和基本實操。本書共分6個部分18章,**部分為大數據平臺安裝,涉及平臺操作系統的使用、Hadoop平臺安裝、平臺基礎環境配置;第二部分為大數據平臺配置,涉及Hadoop文件參數配置、Hadoop集群運行;第三部分為大數據平臺組件的安裝與配置,涉及Hive、HBase、ZooKeeper、Sqoop和Flume組件的安裝與配置;第四部分為大數據平臺實施,涉及大數據平臺實施方案、培訓方案;第五部分為大數據平臺監控,涉及基于大數據平臺的監控命令、監控界面和報表、日志和告警信息監控;第六部分為大數據運維綜合實戰案例,以實際項目為例介紹從平臺部署、數據業務采集、數據分析到數據可視化的整體基礎實施過程,并介紹了大數據平臺運維的常見故障及處理流程。 本書可作為中高職院校大數據及計算機類相關專業的教材,也可作為大數據平臺運維人員的參考用書。

大數據平臺運維(高級) 目錄

目錄 **部分 大數據平臺架構 第1章 Hadoop集群選型 2 1.1 Hadoop 集群概述 2 1.1.1 Cloudera Hadoop發行版 CDH簡介 2 1.1.2 CDH 特性 3 1.1.3 CDH 版本演進 3 1.1.4 CDH 和 Apache Hadoop 對比 4 1.1.5 Cloudera Manager 簡介 4 1.2 Hadoop 集群硬件設計概述 5 1.3 大數據平臺硬件選型 6 1.4 集群硬件配置方案制定 7 1.5 大數據集群網絡方案設計 8 1.5.1 網絡平面設計 8 1.5.2 機架部署設計 8 1.5.3 Hadoop集群網絡規范 8 1.5.4 大數據集群網絡部署實例 10 1.6 大數據集群網絡高可用方案 設計 11 1.6.1 集群主機和角色分布 11 1.6.2 集群高可用方案設計 11 1.7 本章小結 12 第2章 Hadoop平臺架構設計 13 2.1 Hadoop 集群節點高可用方案 規劃設計 13 2.2 Hadoop集群容量方案規劃 設計 14 2.2.1 小規模集群規劃設計 14 2.2.2 中等規模集群規劃設計 15 2.2.3 大規模集群規劃設計 16 2.3 Hadoop行業方案規劃設計 17 2.4 Hadoop企業方案規劃設計 21 2.4.1 企業大數據平臺易產生的 缺陷 21 2.4.2 企業大數據平臺架構思想 22 2.4.3 企業大數據平臺能力需求 23 2.4.4 企業大數據平臺設計方案 24 2.5 本章小結 26 第3章 Hadoop組件部署規劃 27 3.1 Hadoop 集群組件選擇 27 3.1.1 CDH 集群 27 3.1.2 CDH 組件 28 3.2 Hadoop 集群版本選擇 32 3.3 Hadoop 生態組件的工作原理 32 3.3.1 生態體系 32 3.3.2 各層相關組件概念及原理 32 3.4 Hadoop 生態圈的發展趨勢 37 3.5 本章小結 37 第二部分 大數據平臺安全管理 第4章 大數據平臺安全體系 40 4.1 安全與認證概述 40 4.1.1 安全要求 40 4.1.2 安全等級 41 4.1.3 認證概述 41 4.2 Hadoop 安全背景 41 4.2.1 Hadoop 安全背景 41 4.2.2 Hadoop 安全架構 42 4.2.3 Hadoop 安全機制 43 4.3 安全認證 43 4.3.1 身份驗證協議(Kerberos) 43 4.3.2 Hadoop 安全機制的具體 實現 48 4.3.3 Hadoop 安全機制的應用 場景 50 4.4 認證方式 52 4.4.1 Kerberos 安全工件 52 4.4.2 Kerberos 主體 52 4.5 本章小結 53 第5章 大數據平臺安全實戰 54 5.1 Kerberos 安裝部署 54 5.1.1 集群環境準備 55 5.1.2 Kerberos 安裝 55 5.2 HDFS 配置 Kerberos 60 5.2.1 創建認證規則 60 5.2.2 認證規則配置實現 60 5.2.3 創建 keytab 文件 61 5.2.4 部署 Kerberos keytab 文件 62 5.2.5 修改 HDFS 配置文件 62 5.2.6 啟動 NameNode 64 5.2.7 啟動 DataNode 65 5.3 YARN 配置 Kerberos 66 5.3.1 生成 keytab 66 5.3.2 修改 YARN 配置文件 67 5.3.3 啟動服務 69 5.3.4 測試 69 5.4 本章小結 70 第6章 大數據平臺治理 71 6.1 大數據數據資產概述 71 6.1.1 數據資產定義 71 6.1.2 數據資產管理五星模型 72 6.1.3 大數據資產管理框架 75 6.2 大數據平臺管理體系 76 6.2.1 大數據標準體系框架 76 6.2.2 大數據平臺關鍵技術 78 6.2.3 面向特定領域大數據參考 架構 81 6.3 大數據的數據共享與開放 83 6.3.1 數據共享開放概述 83 6.3.2 政府數據開放共享發展 歷程 84 6.3.3 數據開放共享主要實現 方式 85 6.3.4 大數據開放共享困境 87 6.4 大數據安全與隱私保護 88 6.4.1 大數據安全與隱私問題 現狀 88 6.4.2 大數據安全技術總體視圖 89 6.4.3 開源大數據平臺安全方案 90 6.5 本章小結 92 第三部分 大數據平臺資源治理 第7章 大數據平臺資源治理 94 7.1 大數據平臺資源治理概述 94 7.1.1 資源統一管理與調度 94 7.1.2 資源管理調度模型框架 96 7.2 資源管理調度技術框架 99 7.2.1 Hadoop 資源管理調度架構 99 7.2.2 YARN 資源隔離 101 7.2.3 YARN 資源調度策略 102 7.3 Spark 內存管理模型 107 7.3.1 Spark 內存管理模型概述 107 7.3.2 靜態資源管理模型 108 7.3.3 動態資源管理模型 110 7.4 本章小結 111 第8章 大數據平臺數據治理 112 8.1 數據治理綜述 112 8.2 數據治理標準及框架 114 8.2.1 數據管理能力成熟度評估 模型(DCMM) 114 8.2.2 GB/T 34960 數據治理規范 115 8.2.3 DAMA 數據管理理論框架 116 8.2.4 數據資產管理體系架構 116 8.3 數據治理核心工具 117 8.3.1 數據模型管理工具 117 8.3.2 元數據管理工具 118 8.3.3 數據質量管理工具 119 8.3.4 數據標準管理工具 120 8.3.5 主數據管理工具 121 8.3.6 數據安全管理工具 122 8.3.7 數據服務平臺工具 123 8.4 高校數據治理實踐 124 8.4.1 背景介紹 124 8.4.2 數據治理解決方案 125 8.5 本章小結 127 第四部分 大數據平臺優化 第9章 Linux系統優化 130 9.1 swap 分區優化 130 9.1.1 swap 分區簡介 130 9.1.2 swap 分區的優化 131 9.2 內存分配策略調整 132 9.2.1 內存分頁 132 9.2.2 臟頁 133 9.2.3 臟頁參數優化 134 9.3 Socket 監聽參數修改 134 9.3.1 什么是 Socket 134 9.3.2 Socket 讀寫緩沖區調優 135 9.4 打開文件描述符的上限優化 137 9.4.1 什么是文件描述符 137 9.4.2 可打開文件描述符的數目 優化 137 9.5 Transparent Huge Pages 優化 138 9.5.1 Transparent Huge Pages 簡介 138 9.5.2 Transparent Huge Pages 對 系統的影響 139 9.5.3 禁用 Transparent Huge Pages 139 9.6 本章小結 140 第10章 Hadoop應用程序優化 141 10.1 減少大量小文件輸入 141 10.1.1 HDFS 上的小文件問題 141 10.1.2 小文件問題解決方案 142 10.2 合理分配分布式緩存 143 10.2.1 分布式緩存簡介 143 10.2.2 分布式緩存應用場景 144 10.2.3 分布式緩存的工作機制 144 10.2.4 分布式緩存實現 144 10.3 寫數據類型合理使用 145 10.3.1 Hadoop 中的寫數據類型 介紹 145 10.3.2 Java 基本數據類型的 Writable 封裝 145 10.3.3 自定義 Writable 數據類型 146 10.4 JVM 緩存調優 146 10.4.1 為什么需要 JVM 緩存 調優 146 10.4.2 JVM 緩存參數 147 10.4.3 JVM 調優的原則和步驟 148 10.5 本章小結 148 第11章 Hadoop組件性能優化 149 11.1 HDFS 集中緩存管理 149 11.1.1 HDFS 集中緩存簡介 149 11.1.2 HDFS 集中緩存架構及 概念定義 150 11.1.3 集中緩存配置 152 11.2 MapReduce 調度配置優化 153 11.2.1 MapReduce on YARN 調度 機制 153 11.2.2 公平調度器(Fair Scheduler) 153 11.2.3 容量調度器(Capacity Scheduler) 156 11.2.4 先進先出調度器 (FIFO Scheduler) 158 11.3 YARN 內存配置優化 159 11.3.1 MapReduce on YARN 159 11.3.2 優化內存配置方法 160 11.4 Spark 程序優化 161 11.4.1 Spark 程序優化必要性 161 11.4.2 Spark 參數調優 162 11.4.3 環境變量配置 163 11.4.4 常用的可調優參數 163 11.5 本章小結 165 第五部分 大數據平臺升級 第12章 大數據備份和恢復 168 12.1 備份恢復概述 168 12.2 HDFS 備份恢復 168 12.2.1 HDFS 元數據備份恢復 168 12.2.2 HDFS 快照 171 12.2.3 HDFS 本地備份與恢復 173 12.2.4 Sqoop 增量導入 174 12.3 Hive元數據庫備份恢復 174 12.4 HBase 備份恢復 176 12.4.1 HBase 表備份恢復 176 12.4.2 HBase 快照 179 12.5 本章小結 181 第13章 大數據平臺核心升級 182 13.1 大數據平臺升級概述 182 13.2 評估升級的影響 183 13.3 升級平臺操作系統 184 13.4 升級準備工作 185 13.4.1 集群檢查 185 13.4.2 備份 CDH 187 13.4.3 備份 HDFS 188 13.4.4 備份 HBase 190 13.4.5 升級前相關組件手動 操作 195 13.4.6 準備 CDH6 的本地 yum 源 195 13.5 本章小結 197 第14章 大數據平臺及組件升級 198 14.1 HDFS 升級概述 198 14.1.1 不停機升級 198 14.1.2 停機升級 199 14.1.3 滾動升級的命令和啟動 選項 200 14.2 HDFS 升級 201 14.3 YARN 升級 203 14.4 ZooKeeper 升級 206 14.5 HBase 升級 206 14.5.1 HBase 版本號和兼容性 206 14.5.2 滾動升級 208 14.5.3 升級路徑 209 14.5.4 升級 HBase 操作 211 14.6 本章小結 212 第六部分 大數據平臺項目綜合案例 第15章 政務大數據運維項目實戰 214 15.1 政務項目背景和流程 214 15.1.1 背景介紹 214 15.1.2 政務項目開發流程 215 15.2 數據說明與預處理 215 15.2.1 數據說明 215 15.2.2 數據預處理 215 15.3 數據上傳 216 15.4 在 MySQL 中建庫 218 15.4.1 進入 MySQL Shell環境 218 15.4.2 創建一個數據庫 218 15.4.3 創建數據明細表 218 15.4.4 創建區域金額表 219 15.4.5 創建人員類型金額表 219 15.4.6 添加 MySQL 數據庫驅動 程序 JAR 包 219 15.5 通過 Spark 程序分析數據 220 15.5.1 新建項目 220 15.5.2 設置依賴包 221 15.5.3 設置項目目錄 222 15.5.4 新建 Scala 代碼文件 222 15.5.5 編寫 Scala 代碼文件 223 15.5.6 配置 pom.xml 文件 225 15.5.7 在 IDEA 中運行程序 227 15.6 查詢分析結果 228 15.7 本章小結 229 第16章 大數據平臺安全運維實戰 230 16.1 項目背景 230 16.1.1 大數據加大隱私泄露風險 230 16.1.2 大數據技術被應用到攻擊 手段中 230 16.1.3 認證授權能力弱 231 16.1.4 數據無加密 231 16.1.5 內部人員竊密 231 16.2 需求分析 231 16.3 Sentry 介紹 232 16.3.1 Sentry 架構概述 232 16.3.2 Sentry 關鍵概念 232 16.3.3 Sentry 與 Hadoop 生態系統 集成 233 16.3.4 Hive 和 Sentry 233 16.3.5 Sentry 和 HDFS 234 16.4 解決方案 235 16.4.1 總體設計 235 16.4.2 詳細設計 235 16.5 項目實施 236 16.5.1 用戶規劃 236 16.5.2 目錄規劃 237 16.5.3 HDFS 文件權限控制 237 16.5.4 HDFS ACL 權限設置 238 16.5.5 服務訪問控制授權 239 16.5.6 YARN 隊列訪問控制列表 240 16.5.7 安裝 Sentry 244 16.5.8 配置 Sentry 244 16.5.9 配置 Sentry 客戶端參數 245 16.5.10 配置 Hive 集群集成 Sentry 246 16.6 本章小結 250 第17章 商業大數據平臺運維實戰 251 17.1 集群狀態查看 251 17.1.1 檢查各服務的運行狀態 251 17.1.2 集群各個主機資源負載 情況 252 17.2 HDFS 運維與監控 253 17.2.1 HDFS 總體情況 253 17.2.2 HDFS 數據節點卷故障 檢查 254 17.2.3 HDFS 回收站管理 255 17.2.4 NameNode 重要監控 255 17.2.5 HDFS 數據塊檢查 256 17.2.6 HDFS 安全模式操作 259 17.3 YARN 運維與監控 259 17.3.1 YARN 總體情況 259 17.3.2 YARN 多租戶資源隊列 運維 260 17.4 HBase 運維與監控 262 17.4.1 HBase 總體情況 262 17.4.2 定位數據熱點 262 17.4.3 禁用 Major 合并 263 17.4.4 一致性檢查和不一致 修復 263 17.4.5 備份和恢復 264 17.4.6 數據快照 265 17.5 本章小結 266
展開全部

大數據平臺運維(高級) 作者簡介

新華三技術有限公司是紫光股份旗下新華三集團作為數字化解決方案領導者,致力于成為客戶業務創新、數字化轉型最可信賴的合作伙伴。新華三擁有計算、存儲、網絡、5G、安全等全方位的數字化基礎設施整體能力,提供云計算、大數據、人工智能、工業互聯網、信息安全、智能聯接、新安防、邊緣計算等在內的一站式數字化解決方案,以及端到端的技術服務。同時,新華三也是HPE?服務器、存儲和技術服務的中國**提供商。

商品評論(0條)
暫無評論……
書友推薦
本類暢銷
編輯推薦
返回頂部
中圖網
在線客服
主站蜘蛛池模板: 桁架机器人_桁架机械手_上下料机械手_数控车床机械手-苏州清智科技装备制造有限公司 | 冷库安装厂家_杭州冷库_保鲜库建设-浙江克冷制冷设备有限公司 | 变频器维修公司_plc维修_伺服驱动器维修_工控机维修 - 夫唯科技 变位机,焊接变位机,焊接变位器,小型变位机,小型焊接变位机-济南上弘机电设备有限公司 | 蓄电池回收,ups电池后备电源回收,铅酸蓄电池回收,机房电源回收-广州益夫铅酸电池回收公司 | 安徽免检低氮锅炉_合肥燃油锅炉_安徽蒸汽发生器_合肥燃气锅炉-合肥扬诺锅炉有限公司 | 聚丙烯酰胺_厂家_价格-河南唐达净水材料有限公司 | 今日娱乐圈——影视剧集_八卦娱乐_明星八卦_最新娱乐八卦新闻 | 芜湖厨房设备_芜湖商用厨具_芜湖厨具设备-芜湖鑫环厨具有限公司 控显科技 - 工控一体机、工业显示器、工业平板电脑源头厂家 | 智慧水务|智慧供排水利信息化|水厂软硬件系统-上海敢创 | 能量回馈_制动单元_电梯节能_能耗制动_深圳市合兴加能科技有限公司 | 搪瓷搅拌器,搪玻璃搅拌器,搪玻璃冷凝器_厂家-淄博越宏化工设备 | 立式壁挂广告机厂家-红外电容触摸一体机价格-华邦瀛 | 杭州翻译公司_驾照翻译_专业人工翻译-杭州以琳翻译有限公司官网 组织研磨机-高通量组织研磨仪-实验室多样品组织研磨机-东方天净 | 环球电气之家-中国专业电气电子产品行业服务网站! | 高清视频编码器,4K音视频编解码器,直播编码器,流媒体服务器,深圳海威视讯技术有限公司 | UV-1800紫外光度计-紫外可见光度计厂家-翱艺仪器(上海)有限公司 | 新疆系统集成_新疆系统集成公司_系统集成项目-新疆利成科技 | 斗式提升机_链式斗提机_带式斗提机厂家无锡市鸿诚输送机械有限公司 | 818手游网_提供当下热门APP手游_最新手机游戏下载 | 铝镁锰板_铝镁锰合金板_铝镁锰板厂家_铝镁锰金属屋面板_安徽建科 | 酒水灌装机-白酒灌装机-酒精果酒酱油醋灌装设备_青州惠联灌装机械 | 抖音短视频运营_企业网站建设_网络推广_全网自媒体营销-东莞市凌天信息科技有限公司 | 粉末冶金-粉末冶金齿轮-粉末冶金零件厂家-东莞市正朗精密金属零件有限公司 | 阿里巴巴诚信通温州、台州、宁波、嘉兴授权渠道商-浙江联欣科技提供阿里会员办理 | 不锈钢散热器,冷却翅片管散热器厂家-无锡市烨晟化工装备科技有限公司 | 列管冷凝器,刮板蒸发器,外盘管反应釜厂家-无锡曼旺化工设备有限公司 | 欧美日韩国产一区二区三区不_久久久久国产精品无码不卡_亚洲欧洲美洲无码精品AV_精品一区美女视频_日韩黄色性爱一级视频_日本五十路人妻斩_国产99视频免费精品是看4_亚洲中文字幕无码一二三四区_国产小萍萍挤奶喷奶水_亚洲另类精品无码在线一区 | 自动化改造_智虎机器人_灌装机_贴标机-上海圣起包装机械 | 金属波纹补偿器厂家_不锈钢膨胀节价格_非金属伸缩节定制-庆达补偿器 | 酒店品牌设计-酒店vi设计-酒店标识设计【国际级】VI策划公司 | 假肢-假肢价格-假肢厂家-河南假肢-郑州市力康假肢矫形器有限公司 | 干式磁选机_湿式磁选机_粉体除铁器-潍坊国铭矿山设备有限公司 | 河南档案架,档案密集架,手动密集架,河南密集架批发/报价 | 气力输送设备_料封泵_仓泵_散装机_气化板_压力释放阀-河南锐驰机械设备有限公司 | 气力输送设备_料封泵_仓泵_散装机_气化板_压力释放阀-河南锐驰机械设备有限公司 | 工业rfid读写器_RFID工业读写器_工业rfid设备厂商-ANDEAWELL | 翅片管散热器价格_钢制暖气片报价_钢制板式散热器厂家「河北冀春暖气片有限公司」 | 电镀标牌_电铸标牌_金属标贴_不锈钢标牌厂家_深圳市宝利丰精密科技有限公司 | 耐腐蚀泵,耐腐蚀真空泵,玻璃钢真空泵-淄博华舜耐腐蚀真空泵有限公司 | 密集架-手摇-智能-移动-价格_内蒙古档案密集架生产厂家 | 云南标线|昆明划线|道路标线|交通标线-就选云南云路施工公司-云南云路科技有限公司 |