中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
HADOOP大數據技術與項目實戰 版權信息
- ISBN：9787121458965
- 條形碼：9787121458965 ; 978-7-121-45896-5
- 裝幀：平塑
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
HADOOP大數據技術與項目實戰 內容簡介
本書由校企“雙元”合作開發，以企業真實項目的實施流程為主線，通過“電商平臺用戶行為數據分析”項目實戰，貫穿Hadoop大數據核心技術，包括項目需求、大數據平臺部署、數據采集、離線數據倉庫設計與開發和項目數據可視化展示。本書內容主要涉及VMware、Xshell、IDEA等軟件的安裝配置；Hadoop分布式集群環境搭建； Flume、Kafka、Hive、Sqoop、ZooKeeper等Hadoop生態組件的基本工作原理、搭建及配置方法；使用Flume-Kafka-Flume架構實現數據采集；Hive離線數據倉庫的設計與開發；使用pyecharts工具進行數據可視化展示。本書為省級精品在線開放課程配套教材，同時配有課程標準、軟件安裝包、項目源代碼、習題庫、微課視頻等，可以幫助讀者更好地學習本書內容。本書可以作為高等職業院校大數據、云計算、軟件技術等相關專業教材，也可以作為從事大數據平臺運維、大數據分析、云計算應用等技術人員的參考用書。
HADOOP大數據技術與項目實戰 目錄
緒 論 1
學習目標 1
重點難點 1
學習方法 1
思考與練習 2
模塊1 項目需求 3
學習目標 3
項目概述 3
1.1 項目業務背景 3
1.2 項目實施計劃 5
1.2.1 項目實施流程規劃 5
1.2.2 技術選型及版本 6
1.2.3 項目實施的教學路徑 7
1.3 項目數據字典介紹 8
1.3.1 數據源數據結構字典 8
1.3.2 Hive表數據字典 13
素養園地 17
項目總結 17
思考與練習 17
模塊2 大數據平臺部署 20
學習目標 20
項目概述 20
2.1 大數據相關開發軟件安裝 20
2.2 Linux系統環境配置 28
2.2.1 安裝虛擬機 28
2.2.2 克隆虛擬機 50
2.2.3 虛擬機免密碼登錄配置 57
2.2.4 Linux項目路徑規劃 70
2.3 Hadoop分布式集群環境搭建 73
2.3.1 JDK安裝配置 73
2.3.2 Hadoop框架介紹及組成 77
2.3.3 HDFS集群配置 79
2.3.4 YARN集群配置 89
2.3.5 HDFS Shell命令行操作 95
2.3.6 HDFS客戶端開發環境配置及測試 98
2.3.7 HDFS API基本操作 115
2.3.8 MapReduce原理 121
2.3.9 MapReduce案例——詞頻統計 122
2.4 Hive數據倉庫服務配置 131
2.4.1 MySQL環境配置 131
2.4.2 Hive環境配置 135
2.4.3 Hive與MySQL整合操作及Hive服務啟動 138
2.4.4 HQL語句基本操作 141
2.4.5 HQL統計分析案例 143
2.5 Flume原理及安裝部署 144
2.6 Sqoop原理及應用 145
2.6.1 Sqoop原理及安裝部署 146
2.6.2 Sqoop數據遷移案例 147
2.7 ZooKeeper集群環境搭建 151
2.8 Kafka集群環境搭建及應用 154
2.8.1 Kafka集群環境搭建 154
2.8.2 Kafka常用命令及使用方法 157
素養園地 159
項目總結 160
思考與練習 161
模塊3 數據采集 165
學習目標 165
項目概述 165
3.1 項目數據源及產生方法 165
3.2 Flume腳本設計 167
3.2.1 Flume采集原理及流程 167
3.2.2 Flume數據采集腳本設計 170
3.2.3 攔截器鏈的創建流程 172
3.2.4 ETL攔截器業務邏輯分析 182
3.2.5 分流標記攔截器業務邏輯分析 183
3.2.6 Flume數據采集執行腳本及實現 184
3.2.7 Flume數據消費腳本設計 187
3.2.8 Flume數據消費執行腳本及實現 191
素養園地 195
項目總結 195
思考與練習 195
模塊4 離線數據倉庫設計與開發 198
學習目標 198
項目概述 198
4.1 離線數據倉庫概述 198
4.2 ODS層設計與開發 199
4.3 DWD層設計與開發 204
4.3.1 項目JSON解析函數及應用 204
4.3.2 啟動日志表設計及數據加載 206
4.4 DWS層設計與開發 209
4.5 DWT層設計與開發 212
4.5.1 HQL關聯查詢（1） 212
4.5.2 HQL關聯查詢（2） 216
4.5.3 HQL關聯查詢（3） 218
4.5.4 設備主題表設計及數據加載 219
4.6 ADS層設計與開發 222
4.6.1 活躍用戶數據表設計及數據加載 223
4.6.2 每日新增用戶數據表設計及數據加載 224
4.6.3 沉默用戶數據表設計及數據加載 226
4.6.4 本周回流用戶數據表設計及數據加載 228
4.6.5 用戶留存率數據表設計及數據加載 229
素養園地 243
項目總結 243
思考與練習 243
模塊5 項目數據可視化展示 246
學習目標 246
項目概述 246
5.1 創建MySQL數據表 246
5.1.1 大數據報表系統 246
5.1.2 MySQL數據表的創建 247
5.2 Sqoop數據遷移 248
5.3 數據可視化 250
5.3.1 pyecharts可視化工具介紹 251
5.3.2 導入數據、繪制大屏標題 269
5.3.3 繪制柱狀圖 283
5.3.4 繪制象形柱狀圖、水球圖 287
5.3.5 繪制柱狀圖與折線圖的疊加圖 291
5.3.6 繪制輪播圖 294
5.3.7 數據大屏展示 297
素養園地 301
項目總結 301
思考與練習 301
課程學習成果評價 304
參考文獻 306
學習目標 1
重點難點 1
學習方法 1
思考與練習 2
模塊1 項目需求 3
學習目標 3
項目概述 3
1.1 項目業務背景 3
1.2 項目實施計劃 5
1.2.1 項目實施流程規劃 5
1.2.2 技術選型及版本 6
1.2.3 項目實施的教學路徑 7
1.3 項目數據字典介紹 8
1.3.1 數據源數據結構字典 8
1.3.2 Hive表數據字典 13
素養園地 17
項目總結 17
思考與練習 17
模塊2 大數據平臺部署 20
學習目標 20
項目概述 20
2.1 大數據相關開發軟件安裝 20
2.2 Linux系統環境配置 28
2.2.1 安裝虛擬機 28
2.2.2 克隆虛擬機 50
2.2.3 虛擬機免密碼登錄配置 57
2.2.4 Linux項目路徑規劃 70
2.3 Hadoop分布式集群環境搭建 73
2.3.1 JDK安裝配置 73
2.3.2 Hadoop框架介紹及組成 77
2.3.3 HDFS集群配置 79
2.3.4 YARN集群配置 89
2.3.5 HDFS Shell命令行操作 95
2.3.6 HDFS客戶端開發環境配置及測試 98
2.3.7 HDFS API基本操作 115
2.3.8 MapReduce原理 121
2.3.9 MapReduce案例——詞頻統計 122
2.4 Hive數據倉庫服務配置 131
2.4.1 MySQL環境配置 131
2.4.2 Hive環境配置 135
2.4.3 Hive與MySQL整合操作及Hive服務啟動 138
2.4.4 HQL語句基本操作 141
2.4.5 HQL統計分析案例 143
2.5 Flume原理及安裝部署 144
2.6 Sqoop原理及應用 145
2.6.1 Sqoop原理及安裝部署 146
2.6.2 Sqoop數據遷移案例 147
2.7 ZooKeeper集群環境搭建 151
2.8 Kafka集群環境搭建及應用 154
2.8.1 Kafka集群環境搭建 154
2.8.2 Kafka常用命令及使用方法 157
素養園地 159
項目總結 160
思考與練習 161
模塊3 數據采集 165
學習目標 165
項目概述 165
3.1 項目數據源及產生方法 165
3.2 Flume腳本設計 167
3.2.1 Flume采集原理及流程 167
3.2.2 Flume數據采集腳本設計 170
3.2.3 攔截器鏈的創建流程 172
3.2.4 ETL攔截器業務邏輯分析 182
3.2.5 分流標記攔截器業務邏輯分析 183
3.2.6 Flume數據采集執行腳本及實現 184
3.2.7 Flume數據消費腳本設計 187
3.2.8 Flume數據消費執行腳本及實現 191
素養園地 195
項目總結 195
思考與練習 195
模塊4 離線數據倉庫設計與開發 198
學習目標 198
項目概述 198
4.1 離線數據倉庫概述 198
4.2 ODS層設計與開發 199
4.3 DWD層設計與開發 204
4.3.1 項目JSON解析函數及應用 204
4.3.2 啟動日志表設計及數據加載 206
4.4 DWS層設計與開發 209
4.5 DWT層設計與開發 212
4.5.1 HQL關聯查詢（1） 212
4.5.2 HQL關聯查詢（2） 216
4.5.3 HQL關聯查詢（3） 218
4.5.4 設備主題表設計及數據加載 219
4.6 ADS層設計與開發 222
4.6.1 活躍用戶數據表設計及數據加載 223
4.6.2 每日新增用戶數據表設計及數據加載 224
4.6.3 沉默用戶數據表設計及數據加載 226
4.6.4 本周回流用戶數據表設計及數據加載 228
4.6.5 用戶留存率數據表設計及數據加載 229
素養園地 243
項目總結 243
思考與練習 243
模塊5 項目數據可視化展示 246
學習目標 246
項目概述 246
5.1 創建MySQL數據表 246
5.1.1 大數據報表系統 246
5.1.2 MySQL數據表的創建 247
5.2 Sqoop數據遷移 248
5.3 數據可視化 250
5.3.1 pyecharts可視化工具介紹 251
5.3.2 導入數據、繪制大屏標題 269
5.3.3 繪制柱狀圖 283
5.3.4 繪制象形柱狀圖、水球圖 287
5.3.5 繪制柱狀圖與折線圖的疊加圖 291
5.3.6 繪制輪播圖 294
5.3.7 數據大屏展示 297
素養園地 301
項目總結 301
思考與練習 301
課程學習成果評價 304
參考文獻 306
展開全部
HADOOP大數據技術與項目實戰 作者簡介
王小潔，女，副教授，山西職業技術學院，山西職業技術學院大數據技術專業是國家"雙高”建設專業群的龍頭專業，與華為、新華三、中軟國際等知名企業開展校企合作，在人才培養模式創新、課程教學資源建設、教材與教法改革、教師教學創新團隊等方面均進行改革創新。大數據技術專業每年招生200余人，具有一定 的專業規模。
書友推薦
- >
姑媽的寶刀
- >
回憶愛瑪儂
- >
上帝之肋:男人的真實旅程
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
伯納黛特,你要去哪(2021新版)
- >
名家帶你讀魯迅:朝花夕拾
- >
煙與鏡
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
本類暢銷
