掃一掃
關(guān)注中圖網(wǎng)
官方微博
Hadoop技術(shù)與應(yīng)用 版權(quán)信息
- ISBN：9787560659831
- 條形碼：9787560659831 ; 978-7-5606-5983-1
- 裝幀：一般膠版紙
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
Hadoop技術(shù)與應(yīng)用 本書特色
本書以新冠疫情數(shù)據(jù)采集、分析為載體，通過項(xiàng)目實(shí)戰(zhàn)完成Hadoop集群的部署，將基層疫情數(shù)據(jù)上傳至HDFS平臺，為保證數(shù)據(jù)的高可用，部署了HDFS的HA集群；通過Hadoop生態(tài)圈中的常用組件對數(shù)據(jù)進(jìn)行分析，*后，借助Ambari實(shí)現(xiàn)Hadoop集群的自動(dòng)化部署。書中的內(nèi)容中除了對接“1+X” 職業(yè)技能標(biāo)準(zhǔn)，崗位實(shí)際，在學(xué)習(xí)過程中還融入思政元素，激發(fā)讀者的民族自豪感，樹立鴻鵠之志，并為之而奮斗。
Hadoop技術(shù)與應(yīng)用 內(nèi)容簡介
本書采用“理論+實(shí)戰(zhàn)”的形式編寫，將企業(yè)需求分解為單獨(dú)的項(xiàng)目，全面系統(tǒng)地講解了Hadoop大數(shù)據(jù)的相關(guān)知識及應(yīng)用。全書共12個(gè)項(xiàng)目，首先介紹了大數(shù)據(jù)技術(shù)的發(fā)展、Hadoop生態(tài)圈的組成、Hadoop集群部署、采集數(shù)據(jù)上傳到HDFS；接著具體介紹了為提高集群的可持續(xù)服務(wù)，在分布式協(xié)調(diào)組件ZooKeeper的協(xié)助下，部署HDFS的HA集群和YARN的HA集群的方法；然后講解了MapReduce、HBase和Hive的實(shí)際應(yīng)用，并具體講解了通過Flume監(jiān)聽Hadoop集群日志，以及使用Sqoop實(shí)現(xiàn)數(shù)據(jù)在MySQL和HDFS之間的相互傳輸；*后介紹如何借助Ambari工具一站式部署、管理Hadoop集群，并展望了大數(shù)據(jù)未來的發(fā)展方向。 本書適合作為高職高專院校大數(shù)據(jù)技術(shù)課程的教學(xué)用書，也適合作為培訓(xùn)機(jī)構(gòu)和大數(shù)據(jù)技術(shù)愛好者的參考用書。
Hadoop技術(shù)與應(yīng)用 目錄
項(xiàng)目1 大數(shù)據(jù)平臺部署前的環(huán)境準(zhǔn)備 1
任務(wù)1 大數(shù)據(jù)技術(shù)及應(yīng)用 3
任務(wù)描述 3
知識準(zhǔn)備 3
一、大數(shù)據(jù)簡介 3
二、大數(shù)據(jù)的特征 3
三、大數(shù)據(jù)相關(guān)概念 5
四、大數(shù)據(jù)的典型應(yīng)用 5
任務(wù)實(shí)施 通過思維導(dǎo)圖展示大數(shù)據(jù)
技術(shù)的應(yīng)用 6
任務(wù)2 獲取Hadoop資源 7
任務(wù)描述 7
知識準(zhǔn)備 7
一、Hadoop的起源 7
二、Hadoop的特點(diǎn) 8
三、Hadoop生態(tài)圈 8
四、Hadoop版本演變 9
五、常見Hadoop的發(fā)行版本 11
任務(wù)實(shí)施 通過Hadoop官網(wǎng)下載Hadoop
軟件 11
能力拓展 Hadoop部署前的環(huán)境配置 12
項(xiàng)目小結(jié) 24
課后習(xí)題 24
項(xiàng)目2 部署Hadoop集群 26
任務(wù)1 部署單機(jī)模式Hadoop 28
任務(wù)描述 28
知識準(zhǔn)備 28
一、Hadoop的安裝方式 28
二、安裝JDK 28
任務(wù)實(shí)施 安裝單機(jī)模式Hadoop 30
任務(wù)2 部署偽分布模式Hadoop 33
任務(wù)描述 33
知識準(zhǔn)備 33
一、Hadoop集群 33
二、Hadoop目錄介紹 33
任務(wù)實(shí)施 部署偽分布模式Hadoop 34
能力拓展 部署Hadoop集群 40
項(xiàng)目小結(jié) 49
課后習(xí)題 49
項(xiàng)目3 采集數(shù)據(jù)到HDFS 51
任務(wù)1 通過Shell采集數(shù)據(jù)到HDFS 52
任務(wù)描述 52
知識準(zhǔn)備 53
一、HDFS簡介 53
二、HDFS的優(yōu)勢 53
三、HDFS的局限性 53
四、HDFS的架構(gòu) 54
五、HDFS的工作機(jī)制 57
六、HDFS的容錯(cuò) 59
七、訪問HDFS 60
任務(wù)實(shí)施 通過Shell命令采集數(shù)據(jù)到
HDFS 62
任務(wù)2 通過Java API采集數(shù)據(jù)到HDFS 68
任務(wù)描述 68
知識準(zhǔn)備 69
一、文件讀取 69
二、文件寫入 69
三、安裝Java開發(fā)環(huán)境 70
任務(wù)實(shí)施 通過Java API 采集數(shù)據(jù)到
HDFS 75
能力拓展 通過數(shù)據(jù)流采集數(shù)據(jù)到HDFS 80
項(xiàng)目小結(jié) 82
課后習(xí)題 82
項(xiàng)目4 部署HDFS的HA集群 85
任務(wù)1 安裝ZooKeeper服務(wù) 87
任務(wù)描述 87
知識準(zhǔn)備 87
一、ZooKeeper簡介 87
二、ZooKeeper的特性 88
三、ZooKeeper的工作原理 88
四、ZooKeeper的工作模式 89
五、ZooKeeper的角色 89
任務(wù)實(shí)施 安裝ZooKeeper服務(wù) 90
任務(wù)2 訪問ZooKeeper服務(wù) 94
任務(wù)描述 94
知識準(zhǔn)備 94
一、讀寫機(jī)制 94
二、數(shù)據(jù)模型 94
三、監(jiān)聽通知機(jī)制 95
四、典型應(yīng)用場景 95
任務(wù)實(shí)施 訪問ZooKeeper服務(wù) 96
任務(wù)3 部署HDFS的高可用集群 99
任務(wù)描述 99
知識準(zhǔn)備 100
一、HDFS HA機(jī)制 100
二、HDFS Federation機(jī)制 102
任務(wù)實(shí)施 部署HDFS的HA集群 103
項(xiàng)目小結(jié) 114
課后習(xí)題 114
項(xiàng)目5 部署YARN的HA集群 116
任務(wù)1 部署YARN集群 118
任務(wù)描述 118
知識準(zhǔn)備 118
一、YARN產(chǎn)生背景 118
二、YARN的優(yōu)點(diǎn) 120
三、YARN的組成及架構(gòu) 120
四、YARN工作流程 122
五、YARN容錯(cuò)性 123
任務(wù)實(shí)施 部署YARN集群 123
任務(wù)2 部署YARN的高可用集群 125
任務(wù)描述 125
知識準(zhǔn)備 125
一、YARN HA機(jī)制 125
二、RM的狀態(tài)存儲(chǔ) 126
任務(wù)實(shí)施 部署YARN的HA集群 127
項(xiàng)目小結(jié) 133
課后習(xí)題 133
項(xiàng)目6 MapReduce應(yīng)用 135
任務(wù) MapReduce Java API編程 136
任務(wù)描述 136
知識準(zhǔn)備 137
一、MapReduce核心思想 137
二、MapReduce工作流程 138
三、MapReduce API編程 142
任務(wù)實(shí)施 利用WordCount統(tǒng)計(jì)單詞數(shù) 147
能力拓展 用MapReduce實(shí)現(xiàn)平均成績的
計(jì)算 151
項(xiàng)目小結(jié) 156
課后習(xí)題 157
項(xiàng)目7 部署開源數(shù)據(jù)庫HBase 162
任務(wù)1 部署HBase服務(wù) 164
任務(wù)描述 164
知識準(zhǔn)備 164
一、HBase概述 164
二、HBase數(shù)據(jù)模型 165
三、HBase功能組件 167
四、HBase運(yùn)行機(jī)制 170
任務(wù)實(shí)施 安裝部署HBase 172
任務(wù)2 訪問HBase服務(wù) 175
任務(wù)描述 175
知識準(zhǔn)備 175
一、HBase常用Shell命令 175
二、HBase Java API的應(yīng)用 177
三、HBase過濾器 178
任務(wù)實(shí)施 HBase Java API編程實(shí)踐 180
能力拓展 創(chuàng)建自定義過濾器 186
項(xiàng)目小結(jié) 189
課后習(xí)題 190
項(xiàng)目8 部署數(shù)據(jù)倉庫Hive 192
任務(wù)1 部署Hive服務(wù) 194
任務(wù)描述 194
知識準(zhǔn)備 194
一、Hive概述 194
二、Hive的系統(tǒng)架構(gòu) 195
三、Hive HA的基本原理 197
四、Hive的工作原理 197
五、Hive的安裝模式 199
任務(wù)實(shí)施 部署Hive的相關(guān)工具 200
任務(wù)2 訪問Hive服務(wù) 203
任務(wù)描述 203
知識準(zhǔn)備 203
一、Hive的管理 203
二、Hive的數(shù)據(jù)模型 204
三、Hive的數(shù)據(jù)類型 205
四、Hive的基本操作 206
任務(wù)實(shí)施 通過Hive實(shí)現(xiàn)WordCount 211
能力拓展 Hive實(shí)現(xiàn)分組排序 211
項(xiàng)目小結(jié) 216
課后習(xí)題 217
項(xiàng)目9 利用Flume監(jiān)聽數(shù)據(jù) 219
任務(wù)1 監(jiān)聽端口數(shù)據(jù)并輸出到Flume
控制臺 221
任務(wù)描述 221
知識準(zhǔn)備 221
一、Flume簡介 221
二、Flume Event的概念 221
三、Flume的優(yōu)勢和特征 222
四、Flume的環(huán)境搭建 223
五、Flume三大組件 223
任務(wù)實(shí)施 監(jiān)聽端口數(shù)據(jù)并輸出到
Flume控制臺 227
任務(wù)2 監(jiān)聽Hive日志文件并輸出到Flume
控制臺 230
任務(wù)描述 230
知識準(zhǔn)備 230
一、Exec Source 230
二、HDFS Sink 231
三、Hive Sink 232
任務(wù)實(shí)施 監(jiān)聽Hive日志文件并輸出到
Flume控制臺 233
能力拓展 Flume監(jiān)聽Hive日志文件并
輸出到HDFS 237
項(xiàng)目小結(jié) 242
課后習(xí)題 242
項(xiàng)目10 Sqoop實(shí)現(xiàn)數(shù)據(jù)傳輸 244
任務(wù)1 數(shù)據(jù)從MySQL導(dǎo)入HDFS 246
任務(wù)描述 246
知識準(zhǔn)備 246
一、Sqoop簡介 246
二、Sqoop的環(huán)境搭建 247
三、Sqoop的常用命令 249
四、Sqoop import命令的常用參數(shù) 249
任務(wù)實(shí)施 數(shù)據(jù)從MySQL導(dǎo)入HDFS 250
任務(wù)2 數(shù)據(jù)從HDFS導(dǎo)出到MySQL 257
?任務(wù)描述 257
知識準(zhǔn)備 257
Sqoop export命令的常用參數(shù) 258
任務(wù)實(shí)施 數(shù)據(jù)從HDFS導(dǎo)出到MySQL 258
能力拓展 用Sqoop將HDFS數(shù)據(jù)導(dǎo)出到
MySQL數(shù)據(jù)表指定的列 264
項(xiàng)目小結(jié) 268
課后習(xí)題 268
項(xiàng)目11 Ambari部署Hadoop集群 270
任務(wù) Ambari的安裝 271
任務(wù)描述 271
知識準(zhǔn)備 272
一、Ambari簡介 272
二、Ambari的作用 272
三、Ambari的架構(gòu)及工作流程 272
四、軟件下載 275
任務(wù)實(shí)施 利用Ambari部署、管理Hadoop
集群 277
能力拓展 在Ambari中啟用HDFS的HA 293
項(xiàng)目小結(jié) 297
課后習(xí)題 298
項(xiàng)目12 大數(shù)據(jù)的未來 299
任務(wù) 大數(shù)據(jù)的未來 300
任務(wù)描述 300
知識準(zhǔn)備 301
一、醫(yī)療領(lǐng)域 301
二、智慧城市領(lǐng)域 302
三、教育領(lǐng)域 303
四、人工智能領(lǐng)域 304
五、大數(shù)據(jù)與5G通信 305
項(xiàng)目小結(jié) 306
課后習(xí)題 306
參考文獻(xiàn) 308
展開全部
書友推薦
- >
月亮虎
- >
我與地壇
- >
人文閱讀與收藏·良友文學(xué)叢書:一天的工作
- >
名家?guī)阕x魯迅:朝花夕拾
- >
莉莉和章魚
- >
伯納黛特,你要去哪(2021新版)
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
二體千字文
本類暢銷
