中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
闖進數學世界――探秘歷史名題
-
>
中醫基礎理論
-
>
當代中國政府與政治(新編21世紀公共管理系列教材)
-
>
高校軍事課教程
-
>
思想道德與法治(2021年版)
-
>
毛澤東思想和中國特色社會主義理論體系概論(2021年版)
-
>
中醫內科學·全國中醫藥行業高等教育“十四五”規劃教材
大數據應用技術與實踐(微課版) 版權信息
- ISBN：9787115620965
- 條形碼：9787115620965 ; 978-7-115-62096-5
- 裝幀：平裝
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
大數據應用技術與實踐(微課版) 本書特色
本書是作者將軟件公司任職時的項目開發與職業院校多年教學經驗的總結。與目前市面上的大部分大數據技術相關圖書相比，本書通過一個項目的完整實現過程，展示了大數據各技術的應用過程，更側重對學生實操性的指導
大數據應用技術與實踐(微課版) 內容簡介
本書依托一個大數據綜合項目—電影市場的預測，按照大數據技術在該項目開發中的應用過程，將本書內容分為10個工作任務，包括初識Hadoop、搭建Hadoop集群、數據上傳、配置Hadoop高可用、數據清洗、使用MapReduce統計電影上映情況與排序、數據建倉、數據分析、數據遷移和數據可視化。書中的具體工作任務有助于讀者綜合運用大數據知識及各種工具軟件，實現大數據項目整體過程的操作。 本書附有配套資源，包括源代碼、教學設計、教學課件等。 本書可作為高等院校本、專科大數據相關專業的教材，也可供大數據相關從業人員參考。
大數據應用技術與實踐(微課版) 目錄
工作任務1
初識Hadoop 1
任務概述 1
學習目標 1
任務1.1 了解大數據 1
【知識鏈接】 1
1.1.1 什么是大數據 1
1.1.2 大數據的特征 2
1.1.3 研究大數據的意義 3
任務1.2 了解大數據的應用場景 4
【知識鏈接】 4
1.2.1 醫療行業的應用 4
1.2.2 金融行業的應用 5
1.2.3 零售行業的應用 5
任務1.3 了解Hadoop 6
【知識鏈接】 6
1.3.1 Hadoop的發展歷程 6
1.3.2 Hadoop的優勢 7
1.3.3 Hadoop的生態體系 8
1.3.4 Hadoop的版本 10
任務小結 12
課后習題 12
相關閱讀—“第七次全國人口普查”中的
大數據技術應用 13
工作任務2
搭建Hadoop集群 14
任務概述 14
學習目標 14
預備知識—集群和虛擬機 14
任務2.1 安裝虛擬機 16
【任務描述】 16
【知識鏈接】 16
2.1.1 VMware軟件 16
2.1.2 Linux操作系統 16
2.1.3 Hadoop集群 17
【任務實施】 17
任務2.2 克隆虛擬機 23
【任務描述】 23
【知識鏈接】 23
2.2.1 克隆和備份的區別 23
2.2.2 VMware的克隆類型 24
【任務實施】 24
任務2.3 網絡配置 25
【任務描述】 25
【知識鏈接】 26
【任務實施】 26
任務2.4 SSH服務配置 29
【任務描述】 29
【知識鏈接】 29
【任務實施】 29
任務2.5 Hadoop集群搭建 32
【任務描述】 32
【知識鏈接】 32
【任務實施】 32
任務小結 37
課后習題 38
相關閱讀—名副其實的“網絡大國” 39
工作任務3
數據上傳 40
任務概述 40
學習目標 40
預備知識—HDFS概述 40
任務3.1 使用Shell命令將電影數據上傳
到Hadoop 42
【任務描述】 42
【知識鏈接】 42
3.1.1 HDFS架構組成 42
3.1.2 HDFS的Shell操作 43
【任務實施】 45
任務3.2 使用Java API上傳電影數據 46
【任務描述】 46
【知識鏈接】 46
3.2.1 HDFS寫數據流程 46
3.2.2 HDFS讀數據流程 47
3.2.3 NameNode和Secondary
NameNode工作機制 47
3.2.4 DataNode工作機制 49
【任務實施】 49
任務小結 51
課后習題 51
相關閱讀—根服務器 52
工作任務4
配置Hadoop高可用 53
任務概述 53
學習目標 53
預備知識—服務器的可用性和高可用性 53
任務4.1 配置ZooKeeper集群 54
【任務描述】 54
【知識鏈接】 54
4.1.1 Hadoop中的單點故障 54
4.1.2 ZooKeeper組件 54
【任務實施】 55
任務4.2 配置HDFS-HA集群 57
【任務描述】 57
【知識鏈接】 57
【任務實施】 58
任務4.3 配置HDFS-HA集群自動故障
轉移 61
【任務描述】 61
【知識鏈接】 61
4.3.1 自動故障轉移機制概述 61
4.3.2 ZKFC 62
【任務實施】 63
任務小結 64
課后習題 65
相關閱讀—航天裝備的高可用 65
工作任務5
數據清洗 66
任務概述 66
學習目標 66
預備知識—數據清洗概述 66
任務5.1 清洗電影數據 67
【任務描述】 67
【知識鏈接】 67
5.1.1 MapReduce組件 67
5.1.2 MapReduce編程思想 68
5.1.3 Hadoop序列化 70
【任務實施】 71
任務5.2 數據分區 78
【任務描述】 78
【知識鏈接】 78
5.2.1 切片與MapTask并行度決定
機制 78
5.2.2 MapReduce工作流程 79
【任務實施】 81
任務小結 82
課后習題 82
相關閱讀—深度學習開源平臺飛槳 83
工作任務6
使用MapReduce統計電影上映情況與排序 84
任務概述 84
學習目標 84
預備知識—數據統計概述 84
任務6.1 統計每部電影上映的次數 85
【任務描述】 85
【任務實施】 85
任務6.2 統計每部電影的上映天數和平均
票房 88
【任務描述】 88
【任務實施】 88
任務6.3 按平均票房降序排列 90
【任務描述】 90
【任務實施】 91
任務小結 94
課后習題 94
相關閱讀—許寶?J，中國統計學家的
先驅 94
工作任務7
數據建倉 96
任務概述 96
學習目標 96
預備知識—數據庫與數據倉庫 96
任務7.1 安裝與配置Hive 97
【任務描述】 97
【知識鏈接】 97
7.1.1 Hive概述 97
7.1.2 Hive和數據庫比較 98
7.1.3 Hive架構原理 99
【任務實施】 101
任務7.2 將元數據遷移到MySQL 101
【任務描述】 101
【任務實施】 102
任務7.3 使用Hive進行數據建倉 104
【任務描述】 104
【知識鏈接】 104
7.3.1 HQL的數據類型 104
7.3.2 HQL的數據定義語言 106
7.3.3 HQL的數據操作語言 109
【任務實施】 110
任務小結 111
課后習題 111
相關閱讀—數據庫泄露 111
工作任務8
數據分析 112
任務概述 112
學習目標 112
預備知識—數據分析概述 112
任務8.1 查詢某年全年電影數據 113
【任務描述】 113
【知識鏈接】 113
8.1.1 Hive數據導出 113
8.1.2 Hive查詢 113
【任務實施】 120
任務8.2 統計周平均票房 121
【任務描述】 121
【知識鏈接】 121
【任務實施】 121
任務8.3 統計北京和上海某年一季度票房
收入 122
【任務描述】 122
【任務實施】 122
任務小結 127
課后習題 127
相關閱讀—誠信意識 127
工作任務9
數據遷移 128
任務概述 128
學習目標 128
預備知識—數據遷移概述 128
任務9.1 安裝和配置Sqoop 129
【任務描述】 129
【知識鏈接】 129
【任務實施】 130
任務9.2 遷移清洗后的電影數據 131
【任務描述】 131
【知識鏈接】 131
9.2.1 導入數據 131
9.2.2 導出數據 133
【任務實施】 133
任務9.3 遷移日平均票房數據 134
【任務描述】 134
【任務實施】 134
任務9.4 遷移周平均票房數據 135
【任務描述】 135
【任務實施】 135
任務9.5 遷移北京和上海某年一季度票房
數據 136
【任務描述】 136
【任務實施】 136
任務小結 137
課后習題 137
相關閱讀—刪庫事件 138
工作任務10
數據可視化 139
任務概述 139
學習目標 139
預備知識—數據可視化概述 139
任務10.1 使用Spring Boot搭建Web
系統 140
【任務描述】 140
【任務實施】 140
任務10.2 顯示全部電影數據 143
【任務描述】 143
【任務實施】 144
任務10.3 使用柱狀圖顯示電影的日平均
票房 146
【任務描述】 146
【任務實施】 146
任務10.4 使用餅圖顯示電影的周平均
票房 150
【任務描述】 150
【任務實施】 150
任務10.5 使用折線圖顯示北京和上海
某年一季度電影票房走勢 153
【任務描述】 153
【任務實施】 153
任務小結 157
課后習題 157
相關閱讀—中華人民共和國2022年國民
經濟和社會發展統計公報 158
初識Hadoop 1
任務概述 1
學習目標 1
任務1.1 了解大數據 1
【知識鏈接】 1
1.1.1 什么是大數據 1
1.1.2 大數據的特征 2
1.1.3 研究大數據的意義 3
任務1.2 了解大數據的應用場景 4
【知識鏈接】 4
1.2.1 醫療行業的應用 4
1.2.2 金融行業的應用 5
1.2.3 零售行業的應用 5
任務1.3 了解Hadoop 6
【知識鏈接】 6
1.3.1 Hadoop的發展歷程 6
1.3.2 Hadoop的優勢 7
1.3.3 Hadoop的生態體系 8
1.3.4 Hadoop的版本 10
任務小結 12
課后習題 12
相關閱讀—“第七次全國人口普查”中的
大數據技術應用 13
工作任務2
搭建Hadoop集群 14
任務概述 14
學習目標 14
預備知識—集群和虛擬機 14
任務2.1 安裝虛擬機 16
【任務描述】 16
【知識鏈接】 16
2.1.1 VMware軟件 16
2.1.2 Linux操作系統 16
2.1.3 Hadoop集群 17
【任務實施】 17
任務2.2 克隆虛擬機 23
【任務描述】 23
【知識鏈接】 23
2.2.1 克隆和備份的區別 23
2.2.2 VMware的克隆類型 24
【任務實施】 24
任務2.3 網絡配置 25
【任務描述】 25
【知識鏈接】 26
【任務實施】 26
任務2.4 SSH服務配置 29
【任務描述】 29
【知識鏈接】 29
【任務實施】 29
任務2.5 Hadoop集群搭建 32
【任務描述】 32
【知識鏈接】 32
【任務實施】 32
任務小結 37
課后習題 38
相關閱讀—名副其實的“網絡大國” 39
工作任務3
數據上傳 40
任務概述 40
學習目標 40
預備知識—HDFS概述 40
任務3.1 使用Shell命令將電影數據上傳
到Hadoop 42
【任務描述】 42
【知識鏈接】 42
3.1.1 HDFS架構組成 42
3.1.2 HDFS的Shell操作 43
【任務實施】 45
任務3.2 使用Java API上傳電影數據 46
【任務描述】 46
【知識鏈接】 46
3.2.1 HDFS寫數據流程 46
3.2.2 HDFS讀數據流程 47
3.2.3 NameNode和Secondary
NameNode工作機制 47
3.2.4 DataNode工作機制 49
【任務實施】 49
任務小結 51
課后習題 51
相關閱讀—根服務器 52
工作任務4
配置Hadoop高可用 53
任務概述 53
學習目標 53
預備知識—服務器的可用性和高可用性 53
任務4.1 配置ZooKeeper集群 54
【任務描述】 54
【知識鏈接】 54
4.1.1 Hadoop中的單點故障 54
4.1.2 ZooKeeper組件 54
【任務實施】 55
任務4.2 配置HDFS-HA集群 57
【任務描述】 57
【知識鏈接】 57
【任務實施】 58
任務4.3 配置HDFS-HA集群自動故障
轉移 61
【任務描述】 61
【知識鏈接】 61
4.3.1 自動故障轉移機制概述 61
4.3.2 ZKFC 62
【任務實施】 63
任務小結 64
課后習題 65
相關閱讀—航天裝備的高可用 65
工作任務5
數據清洗 66
任務概述 66
學習目標 66
預備知識—數據清洗概述 66
任務5.1 清洗電影數據 67
【任務描述】 67
【知識鏈接】 67
5.1.1 MapReduce組件 67
5.1.2 MapReduce編程思想 68
5.1.3 Hadoop序列化 70
【任務實施】 71
任務5.2 數據分區 78
【任務描述】 78
【知識鏈接】 78
5.2.1 切片與MapTask并行度決定
機制 78
5.2.2 MapReduce工作流程 79
【任務實施】 81
任務小結 82
課后習題 82
相關閱讀—深度學習開源平臺飛槳 83
工作任務6
使用MapReduce統計電影上映情況與排序 84
任務概述 84
學習目標 84
預備知識—數據統計概述 84
任務6.1 統計每部電影上映的次數 85
【任務描述】 85
【任務實施】 85
任務6.2 統計每部電影的上映天數和平均
票房 88
【任務描述】 88
【任務實施】 88
任務6.3 按平均票房降序排列 90
【任務描述】 90
【任務實施】 91
任務小結 94
課后習題 94
相關閱讀—許寶?J，中國統計學家的
先驅 94
工作任務7
數據建倉 96
任務概述 96
學習目標 96
預備知識—數據庫與數據倉庫 96
任務7.1 安裝與配置Hive 97
【任務描述】 97
【知識鏈接】 97
7.1.1 Hive概述 97
7.1.2 Hive和數據庫比較 98
7.1.3 Hive架構原理 99
【任務實施】 101
任務7.2 將元數據遷移到MySQL 101
【任務描述】 101
【任務實施】 102
任務7.3 使用Hive進行數據建倉 104
【任務描述】 104
【知識鏈接】 104
7.3.1 HQL的數據類型 104
7.3.2 HQL的數據定義語言 106
7.3.3 HQL的數據操作語言 109
【任務實施】 110
任務小結 111
課后習題 111
相關閱讀—數據庫泄露 111
工作任務8
數據分析 112
任務概述 112
學習目標 112
預備知識—數據分析概述 112
任務8.1 查詢某年全年電影數據 113
【任務描述】 113
【知識鏈接】 113
8.1.1 Hive數據導出 113
8.1.2 Hive查詢 113
【任務實施】 120
任務8.2 統計周平均票房 121
【任務描述】 121
【知識鏈接】 121
【任務實施】 121
任務8.3 統計北京和上海某年一季度票房
收入 122
【任務描述】 122
【任務實施】 122
任務小結 127
課后習題 127
相關閱讀—誠信意識 127
工作任務9
數據遷移 128
任務概述 128
學習目標 128
預備知識—數據遷移概述 128
任務9.1 安裝和配置Sqoop 129
【任務描述】 129
【知識鏈接】 129
【任務實施】 130
任務9.2 遷移清洗后的電影數據 131
【任務描述】 131
【知識鏈接】 131
9.2.1 導入數據 131
9.2.2 導出數據 133
【任務實施】 133
任務9.3 遷移日平均票房數據 134
【任務描述】 134
【任務實施】 134
任務9.4 遷移周平均票房數據 135
【任務描述】 135
【任務實施】 135
任務9.5 遷移北京和上海某年一季度票房
數據 136
【任務描述】 136
【任務實施】 136
任務小結 137
課后習題 137
相關閱讀—刪庫事件 138
工作任務10
數據可視化 139
任務概述 139
學習目標 139
預備知識—數據可視化概述 139
任務10.1 使用Spring Boot搭建Web
系統 140
【任務描述】 140
【任務實施】 140
任務10.2 顯示全部電影數據 143
【任務描述】 143
【任務實施】 144
任務10.3 使用柱狀圖顯示電影的日平均
票房 146
【任務描述】 146
【任務實施】 146
任務10.4 使用餅圖顯示電影的周平均
票房 150
【任務描述】 150
【任務實施】 150
任務10.5 使用折線圖顯示北京和上海
某年一季度電影票房走勢 153
【任務描述】 153
【任務實施】 153
任務小結 157
課后習題 157
相關閱讀—中華人民共和國2022年國民
經濟和社會發展統計公報 158
展開全部
大數據應用技術與實踐(微課版) 作者簡介
劉志勇，研究生學歷，高級工程師，河北工業職業技術大學骨干教師，主要研究方向是裝備信息化、大數據及其應用，教授：大數據導論、大數據存儲與管理、大數據處理與分析等課程，出版教材兩部，包括《大數據存儲》《武器裝備供應商關系管理》和《預先維修理論與技術》。
書友推薦
- >
人文閱讀與收藏·良友文學叢書:一天的工作
- >
山海經
- >
二體千字文
- >
煙與鏡
- >
推拿
- >
有舍有得是人生
- >
回憶愛瑪儂
- >
苦雨齋序跋文-周作人自編集
本類暢銷
