上篇 基礎實驗篇 實驗1 部署全分布模式Hadoop集群 2 1.1 實驗目的、實驗環境和實驗內容 3 1.2 實驗原理 3 1.2.1 Linux基本命令 3 1.2.2 vim編輯器 6 1.2.3 Java基本命令 7 1.2.4 SSH安全通信協議 8 1.2.5 Hadoop 8 1.3 實驗步驟 12 1.3.1 規劃部署 12 1.3.2 準備機器 14 1.3.3 準備軟件環境 14 1.3.4 獲取和安裝Hadoop 22 1.3.5 配置全分布模式Hadoop集群 22 1.3.6 關閉防火墻 30 1.3.7 格式化文件系統 31 1.3.8 啟動和驗證Hadoop 32 1.3.9 關閉Hadoop 41 1.3.10 實驗報告要求 42 1.4 拓展訓練——部署偽分布模式 ?Hadoop集群 42 1.4.1 規劃部署 43 1.4.2 準備機器 43 1.4.3 準備軟件環境 44 1.4.4 下載和安裝Hadoop 47 1.4.5 配置Hadoop 47 1.4.6 格式化文件系統 49 1.4.7 啟動和驗證偽分布模式 Hadoop集群 49 1.4.8 關閉偽分布模式Hadoop集群 54 思考與練習題 55 參考文獻 55 實驗2 實戰HDFS 57 2.1 實驗目的、實驗環境和實驗內容 57 2.2 實驗原理 58 2.2.1 初識HDFS 58 2.2.2 HDFS的體系架構 58 2.2.3 HDFS文件的存儲原理 60 2.2.4 HDFS接口 64 2.3 實驗步驟 70 2.3.1 啟動Hadoop集群 70 2.3.2 使用 HDFS Shell 71 2.3.3 使用HDFS Web UI 72 2.3.4 搭建HDFS的開發環境Eclipse 73 2.3.5 使用HDFS Java API編程 75 2.3.6 關閉Hadoop集群 87 2.3.7 實驗報告要求 87 2.4 拓展訓練——?搭建HDFS NameNode HA 88 思考與練習題 92 參考文獻 92 實驗3 MapReduce編程 94 3.1 實驗目的、實驗環境和實驗內容 94 3.2 實驗原理 95 3.2.1 MapReduce的編程思想 95 3.2.2 MapReduce的作業執行流程 97 3.2.3 MapReduce Web 98 3.2.4 MapReduce Shell 98 3.2.5 MapReduce Java API 99 3.3 實驗步驟 99 3.3.1 啟動Hadoop集群 99 3.3.2 搭建MapReduce的 開發環境Eclipse 100 3.3.3 編寫并運行MapReduce程序 WordCount 100 3.3.4 練習使用MapReduce Shell命令 111 3.3.5 練習使用MapReduce Web UI 界面 112 3.3.6 關閉Hadoop集群 113 3.3.7 實驗報告要求 113 3.4 拓展訓練 113 3.4.1 在Windows平臺上開發 MapReduce程序 113 3.4.2 MapReduce編程實踐：使用 MapReduce統計對象中的 某些屬性 117 思考與練習題 122 參考文獻 122 實驗4 部署ZooKeeper集群和實戰 ZooKeeper 123 4.1 實驗目的、實驗環境和實驗內容 123 4.2 實驗原理 124 4.2.1 ZooKeeper的系統模型 124 4.2.2 ZooKeeper的工作原理 128 4.2.3 部署ZooKeeper 131 4.2.4 ZooKeeper的四字命令 134 4.2.5 ZooKeeper Shell 135 4.2.6 ZooKeeper Java API 137 4.3 實驗步驟 139 4.3.1 規劃ZooKeeper集群 139 4.3.2 部署ZooKeeper集群 140 4.3.3 啟動ZooKeeper集群 143 4.3.4 驗證ZooKeeper集群 144 4.3.5 使用ZooKeeper的四字命令 144 4.3.6 使用ZooKeeper Shell的 常用命令 146 4.3.7 關閉ZooKeeper集群 151 4.3.8 實驗報告要求 151 4.4 拓展訓練 152 4.4.1 搭建ZooKeeper的 開發環境Eclipse 152 4.4.2 ZooKeeper編程實踐—— ZooKeeper文件系統的增刪改查 152 4.4.3 ZooKeeper編程實踐—— 循環監聽 160 思考與練習題 162 參考文獻 163 實驗5 部署全分布模式HBase集群和 實戰HBase 164 5.1 實驗目的、實驗環境和實驗內容 164 5.2 實驗原理 165 5.2.1 初識HBase 165 5.2.2 HBase的數據模型 165 5.2.3 HBase的體系架構 169 5.2.4 部署HBase 172 5.2.5 HBase接口 174 5.3 實驗步驟 178 5.3.1 規劃全分布模式HBase集群 178 5.3.2 部署全分布模式HBase集群 179 5.3.3 啟動全分布模式HBase集群 183 5.3.4 驗證全分布模式HBase集群 184 5.3.5 使用HBase Shell和HBase Web UI 186 5.3.6 關閉全分布模式HBase集群 189 5.3.7 實驗報告要求 189 5.4 拓展訓練 190 5.4.1 搭建HBase的開發環境Eclipse 190 5.4.2 HBase編程實踐：HBase表的 增刪改 190 思考與練習題 192 參考文獻 192 實驗6 部署本地模式Hive和實戰Hive 194 6.1 實驗目的、實驗環境和實驗內容 194 6.2 實驗原理 195 6.2.1 初識Hive 195 6.2.2 Hive的體系架構 196 6.2.3 Hive的數據類型 198 6.2.4 Hive的文件格式 199 6.2.5 Hive的數據模型 200 6.2.6 Hive函數 201 6.2.7 部署Hive 205 6.2.8 Hive接口 208 6.3 實驗步驟 211 6.3.1 規劃Hive 211 6.3.2 部署本地模式Hive 213 6.3.3 驗證Hive 223 6.3.4 使用Hive Shell 224 6.3.5 實驗報告要求 227 6.4 拓展訓練 228 6.4.1 搭建Hive的開發環境Eclipse 228 6.4.2 Hive編程實踐：操縱Hive 數據庫和表 228 思考與練習題 235 參考文獻 236 下篇 拓展實驗篇 實驗7 部署Spark集群和Spark編程 238 7.1 實驗目的、實驗環境和實驗內容 238 7.2 實驗原理 239 7.2.1 初識Spark 239 7.2.2 Spark的體系架構 241 7.2.3 Spark的計算模型 246 7.2.4 RDD的設計與運行原理 247 7.2.5 Spark集群部署 250 7.2.6 Spark接口 252 7.3 實驗步驟 255 7.3.1 規劃SparkStandalone集群 255 7.3.2 手工部署SparkStandalone集群 257 7.3.3 啟動SparkStandalone集群 261 7.3.4 驗證SparkStandalone集群 261 7.3.5 使用Spark Web UI、Spark Shell和 Spark API 261 7.3.6 關閉SparkStandalone集群 267 思考與練習題 268 參考文獻 268 實驗8 實戰Sqoop 269 8.1 實驗目的、實驗環境和實驗內容 269 8.2 實驗原理 270 8.2.1 初識Sqoop 270 8.2.2 Sqoop的體系架構 271 8.2.3 安裝Sqoop 272 8.2.4 Sqoop Shell 273 8.2.5 Sqoop API 277 8.3 實驗步驟 277 8.3.1 規劃安裝 277 8.3.2 安裝和配置Sqoop 279 8.3.3 驗證Sqoop 281 8.3.4 使用Sqoop Shell 281 思考與練習題 301 參考文獻 301 實驗9 實戰Flume 302 9.1 實驗目的、實驗環境和實驗內容 302 9.2 實驗原理 303 9.2.1 初識Flume 303 9.2.2 Flume的體系架構 304 9.2.3 安裝Flume 306 9.2.4 Flume Shell 307 9.2.5 Flume API 309 9.3 實驗步驟 309 9.3.1 規劃安裝 309 9.3.2 安裝和配置Flume 310 9.3.3 驗證Flume 311 9.3.4 使用Flume 311 思考與練習題 318 參考文獻 318 實驗10 實戰Kafka 319 10.1 實驗目的、實驗環境和實驗內容 319 10.2 實驗原理 320 10.2.1 初識Kafka 320 10.2.2 Kafka的體系架構 321 10.2.3 安裝Kafka 323 10.2.4 Kafka Shell 325 10.2.5 Kafka API 326 10.3 實驗步驟 326 10.3.1 規劃Kafka集群 326 10.3.2 部署Kafka集群 327 10.3.3 啟動Kafka集群 329 10.3.4 驗證Kafka集群 330 10.3.5 使用Kafka Shell 330 10.3.6 關閉Kafka集群 334 思考與練習題 334 參考文獻 334