中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
自己動手做大數據系統 版權信息
- ISBN：9787121295867
- 條形碼：9787121295867 ; 978-7-121-29586-7
- 裝幀：暫無
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
自己動手做大數據系統 本書特色
如果你是一位在校大學生，對大數據感興趣，也知道使用的企業越來越多，市場需求更是日新月異，但苦于自己基礎不夠，心有余而力不足；也看過不少大數據方面的書籍、博客、視頻等，但感覺進步不大；如果你是一位在職人員，但目前主要使用傳統技術，雖然對大數據很有興趣，也深知其對未來的影響，但因時間不夠，雖有一定的基礎，常常也是打兩天魚、曬三天網，進展不是很理想。如果你有上述疑惑或遇到相似問題，本書正好比較適合你。本書從OpenStack云平臺搭建、軟件部署、需求開發實現到結果展示，以縱向角度講解了生產性大數據項目上線的整個流程；以完成一個實際項目需求貫穿各章節，講述了Hadoop生態圈中互聯網爬蟲技術、Sqoop、Hive、HBase組件協同工作流程，并展示了Spark計算框架、R制圖軟件和SparkRHive組件的使用方法。本書的一大特色是提供了實際操作環境，用戶可以在線登錄云平臺來動手操作書中的數據和代碼，登錄網址請參考http://www.feiguyun.com/support。
自己動手做大數據系統 內容簡介
我們為什么需要自己動手做大數據系統？本書從OpenStack云平臺搭建、軟件部署、需求開發實現到結果展示，以縱向角度講解了生產性大數據項目上線的整個流程；以完成一個實際項目需求貫穿各章節，講述了Hadoop生態圈中互聯網爬蟲技術、Sqoop、Hive、HBase組件協同工作流程，并展示了Spark計算框架、R制圖軟件和SparkRHive組件的使用方法。
自己動手做大數據系統 目錄
目 錄
第1章 為什么要自己動手做大數據系統 1
1.1 大數據時代 1
1.2 實戰大數據項目 2
1.3 大數據演練平臺 2
第2章 項目背景及準備 4
2.1 項目背景 4
2.2 項目簡介 4
2.3 項目架構 4
2.4 操作系統 5
2.5 數據存儲 7
2.6 數據處理 8
2.7 開發工具 9目 錄
第1章 為什么要自己動手做大數據系統 1
1.1 大數據時代 1
1.2 實戰大數據項目 2
1.3 大數據演練平臺 2
第2章 項目背景及準備 4
2.1 項目背景 4
2.2 項目簡介 4
2.3 項目架構 4
2.4 操作系統 5
2.5 數據存儲 7
2.6 數據處理 8
2.7 開發工具 9
2.8 調試工具 10
2.9 版本管理 10
第3章 大數據環境搭建和配置 11
3.1 各組件功能說明 11
3.1.1 各種數據源的采集工具 12
3.1.2 企業大數據存儲工具 12
3.1.3 企業大數據系統的數據倉庫工具 12
3.1.4 企業大數據系統的分析計算工具 13
3.1.5 企業大數據系統的數據庫工具 13
3.2 大數據系統各組件安裝部署配置 13
3.2.1 安裝的前期準備工作 13
3.2.2 Hadoop基礎環境安裝及配置 15
3.2.3 Hive安裝及配置 21
3.2.4 Sqoop安裝及配置 24
3.2.5 Spark安裝及配置 30
3.2.6 Zookeeper安裝及配置 31
3.2.7 HBase安裝及配置 33
3.3 自動化安裝及部署說明 35
3.3.1 自動化安裝及部署整體架構設計 35
3.3.2 大數據系統自動化部署邏輯調用關系 36
3.4 本章小結 43
第4章 大數據的獲取 44
4.1 使用爬蟲獲取互聯網數據 45
4.2 Python和Scrapy 框架的安裝 45
4.3 抓取和解析招聘職位信息 47
4.4 職位信息的落地 51
4.5 兩個爬蟲配合工作 53
4.6 讓爬蟲的架構設計更加合理 55
4.7 獲取數據的其他方式 57
4.8 使用Sqoop同步論壇中帖子數據 57
4.9 本章小結 59
第5章 大數據的處理 60
5.1 Hive是什么 60
5.2 為什么使用Hive做數據倉庫建模 60
5.3 飛谷項目中Hive建模步驟 61
5.3.1 邏輯模型的創建 62
5.3.2 物理模型的創建 67
5.3.3 將爬蟲數據導入stg_job表 74
5.4 使用Hive進行數據清洗轉換 77
5.5 數據清洗轉換的必要性 78
5.6 使用HiveQL清洗數據、提取維度信息 79
5.6.1 使用HQL清洗數據 79
5.6.2 提取維度信息 82
5.7 定義Hive UDF封裝處理邏輯 85
5.7.1 Hive UDF的開發、部署和調用 86
5.7.2 Python版本的UDF 89
5.8 使用左外連接構造聚合表rpt_job 92
5.9 讓數據處理自動調度 96
5.9.1 HQL的幾種執行方式 96
5.9.2 Hive Thrift服務 99
5.9.3 使用JDBC連接Hive 100
5.9.4 Python調用HiveServer服務 103
5.9.5 用crontab實現的任務調度 105
5.10 本章小結 107
第6章 大數據的存儲 108
6.1 NoSQL及HBase簡介 108
6.2 HBase中的主要概念 110
6.3 HBase客戶端及JavaAPI 111
6.4 Hive數據導入HBase的兩種方案 114
6.4.1 利用既有的JAR包實現整合 114
6.4.2 手動編寫MapReduce程序 116
6.5 使用Java API查詢HBase中的職位信息 122
6.5.1 為什么是HBase而非Hive 122
6.5.2 多條件組合查詢HBase中的職位信息 123
6.6 如何顯示職位表中的某條具體信息 132
6.7 本章小結 133
第7章 大數據的展示 134
7.1 概述 134
7.2 數據分析的一般步驟 135
7.3 用R來做數據分析展示 135
7.3.1 在Ubuntu上安裝R 135
7.3.2 R的基本使用方式 137
7.4 用Hive充當R的數據來源 139
7.4.1 RHive組件 139
7.4.2 把R圖表整合到Web頁面中 145
7.5 本章小結 151
第8章 大數據的分析挖掘 152
8.1 基于Spark的數據挖掘技術 152
8.2 Spark和Hadoop的關系 153
8.3 在Ubuntu上安裝Spark集群 154
8.3.1 JDK和Hadoop的安裝 154
8.3.2 安裝Scala 154
8.3.3 安裝Spark 155
8.4 Spark的運行方式 157
8.5 使用Spark替代Hadoop Yarn引擎 160
8.5.1 使用spark-sql查看Hive表 160
8.5.2 在beeline客戶端使用Spark引擎 161
8.5.3 在Java代碼中引用Spark的ThriftServer 163
8.6 對招聘公司名稱做全文檢索 168
8.6.1 從HDFS數據源構造JavaRDD 169
8.6.2 使用Spark SQL操作RDD 173
8.6.3 把RDD運行結果展現在前端 174
8.7 如何把Spark用得更好 175
8.8 SparkR組件的使用 177
8.8.1 SparkR的安裝及啟動 177
8.8.2 運行自帶的Sample例子 179
8.8.3 利用SparkR生成職位統計餅圖 179
8.9 本章小結 181
第9章 自己動手搭建支撐大數據系統的云平臺 182
9.1 云平臺架構 182
9.1.1 一期云基礎平臺架構 182
9.1.2 二期云基礎平臺架構 184
9.2 云平臺搭建及部署 185
9.2.1 安裝組件前準備 185
9.2.2 Identity（Keystone）組件 190
9.2.3 Image（Glance）組件 198
9.2.4 Compute（Nova）組件 201
9.2.5 Storage（Cinder）組件 206
9.2.6 Networking（Neutron）組件 210
9.2.7 Ceph分布式存儲系統 221
9.2.8 Dashboard（Horizon）組件 230
9.3 Identity（Keystone）與LDAP的整合 232
9.4 配置Image組件大鏡像部署 235
9.5 配置業務系統無縫遷移 236
9.6 本章小結 237
參考文獻 238信息
第1章 為什么要自己動手做大數據系統 1
1.1 大數據時代 1
1.2 實戰大數據項目 2
1.3 大數據演練平臺 2
第2章 項目背景及準備 4
2.1 項目背景 4
2.2 項目簡介 4
2.3 項目架構 4
2.4 操作系統 5
2.5 數據存儲 7
2.6 數據處理 8
2.7 開發工具 9目 錄
第1章 為什么要自己動手做大數據系統 1
1.1 大數據時代 1
1.2 實戰大數據項目 2
1.3 大數據演練平臺 2
第2章 項目背景及準備 4
2.1 項目背景 4
2.2 項目簡介 4
2.3 項目架構 4
2.4 操作系統 5
2.5 數據存儲 7
2.6 數據處理 8
2.7 開發工具 9
2.8 調試工具 10
2.9 版本管理 10
第3章 大數據環境搭建和配置 11
3.1 各組件功能說明 11
3.1.1 各種數據源的采集工具 12
3.1.2 企業大數據存儲工具 12
3.1.3 企業大數據系統的數據倉庫工具 12
3.1.4 企業大數據系統的分析計算工具 13
3.1.5 企業大數據系統的數據庫工具 13
3.2 大數據系統各組件安裝部署配置 13
3.2.1 安裝的前期準備工作 13
3.2.2 Hadoop基礎環境安裝及配置 15
3.2.3 Hive安裝及配置 21
3.2.4 Sqoop安裝及配置 24
3.2.5 Spark安裝及配置 30
3.2.6 Zookeeper安裝及配置 31
3.2.7 HBase安裝及配置 33
3.3 自動化安裝及部署說明 35
3.3.1 自動化安裝及部署整體架構設計 35
3.3.2 大數據系統自動化部署邏輯調用關系 36
3.4 本章小結 43
第4章 大數據的獲取 44
4.1 使用爬蟲獲取互聯網數據 45
4.2 Python和Scrapy 框架的安裝 45
4.3 抓取和解析招聘職位信息 47
4.4 職位信息的落地 51
4.5 兩個爬蟲配合工作 53
4.6 讓爬蟲的架構設計更加合理 55
4.7 獲取數據的其他方式 57
4.8 使用Sqoop同步論壇中帖子數據 57
4.9 本章小結 59
第5章 大數據的處理 60
5.1 Hive是什么 60
5.2 為什么使用Hive做數據倉庫建模 60
5.3 飛谷項目中Hive建模步驟 61
5.3.1 邏輯模型的創建 62
5.3.2 物理模型的創建 67
5.3.3 將爬蟲數據導入stg_job表 74
5.4 使用Hive進行數據清洗轉換 77
5.5 數據清洗轉換的必要性 78
5.6 使用HiveQL清洗數據、提取維度信息 79
5.6.1 使用HQL清洗數據 79
5.6.2 提取維度信息 82
5.7 定義Hive UDF封裝處理邏輯 85
5.7.1 Hive UDF的開發、部署和調用 86
5.7.2 Python版本的UDF 89
5.8 使用左外連接構造聚合表rpt_job 92
5.9 讓數據處理自動調度 96
5.9.1 HQL的幾種執行方式 96
5.9.2 Hive Thrift服務 99
5.9.3 使用JDBC連接Hive 100
5.9.4 Python調用HiveServer服務 103
5.9.5 用crontab實現的任務調度 105
5.10 本章小結 107
第6章 大數據的存儲 108
6.1 NoSQL及HBase簡介 108
6.2 HBase中的主要概念 110
6.3 HBase客戶端及JavaAPI 111
6.4 Hive數據導入HBase的兩種方案 114
6.4.1 利用既有的JAR包實現整合 114
6.4.2 手動編寫MapReduce程序 116
6.5 使用Java API查詢HBase中的職位信息 122
6.5.1 為什么是HBase而非Hive 122
6.5.2 多條件組合查詢HBase中的職位信息 123
6.6 如何顯示職位表中的某條具體信息 132
6.7 本章小結 133
第7章 大數據的展示 134
7.1 概述 134
7.2 數據分析的一般步驟 135
7.3 用R來做數據分析展示 135
7.3.1 在Ubuntu上安裝R 135
7.3.2 R的基本使用方式 137
7.4 用Hive充當R的數據來源 139
7.4.1 RHive組件 139
7.4.2 把R圖表整合到Web頁面中 145
7.5 本章小結 151
第8章 大數據的分析挖掘 152
8.1 基于Spark的數據挖掘技術 152
8.2 Spark和Hadoop的關系 153
8.3 在Ubuntu上安裝Spark集群 154
8.3.1 JDK和Hadoop的安裝 154
8.3.2 安裝Scala 154
8.3.3 安裝Spark 155
8.4 Spark的運行方式 157
8.5 使用Spark替代Hadoop Yarn引擎 160
8.5.1 使用spark-sql查看Hive表 160
8.5.2 在beeline客戶端使用Spark引擎 161
8.5.3 在Java代碼中引用Spark的ThriftServer 163
8.6 對招聘公司名稱做全文檢索 168
8.6.1 從HDFS數據源構造JavaRDD 169
8.6.2 使用Spark SQL操作RDD 173
8.6.3 把RDD運行結果展現在前端 174
8.7 如何把Spark用得更好 175
8.8 SparkR組件的使用 177
8.8.1 SparkR的安裝及啟動 177
8.8.2 運行自帶的Sample例子 179
8.8.3 利用SparkR生成職位統計餅圖 179
8.9 本章小結 181
第9章 自己動手搭建支撐大數據系統的云平臺 182
9.1 云平臺架構 182
9.1.1 一期云基礎平臺架構 182
9.1.2 二期云基礎平臺架構 184
9.2 云平臺搭建及部署 185
9.2.1 安裝組件前準備 185
9.2.2 Identity（Keystone）組件 190
9.2.3 Image（Glance）組件 198
9.2.4 Compute（Nova）組件 201
9.2.5 Storage（Cinder）組件 206
9.2.6 Networking（Neutron）組件 210
9.2.7 Ceph分布式存儲系統 221
9.2.8 Dashboard（Horizon）組件 230
9.3 Identity（Keystone）與LDAP的整合 232
9.4 配置Image組件大鏡像部署 235
9.5 配置業務系統無縫遷移 236
9.6 本章小結 237
參考文獻 238信息
展開全部
自己動手做大數據系統 作者簡介
張魁
虛擬化工程師，Openstack架構師，蘇州某高校云平臺架構師，十余年Linux系統運維實踐及虛擬化開發經驗，4年Linux系統補丁開發經驗。先后在美企擔任虛擬化應用運維、服務器集群開發運維工程師或系統開發架構師，高校信息中心云平臺架構師，主要關注Openstack、Docker及分布式存儲等。
張粵磊
DBA、大數據架構師，十余年一線數據處理數據分析實戰經驗。先后在咨詢、金融、互聯網行業擔任數據平臺技術負責人或架構師。主要關注大數據基礎平臺、大數據模型構建和大數據分析。
劉未昕
從事IT研發和項目管理工作十余年以上。使用多種程序設計語言，目前研究方向主要是大數據生態系統，從事金融、數據倉庫等領域研發。五年以上IT行業授課、培訓經驗，并在多所高校擔任外聘講師。
吳茂貴
運籌學與控制論專業研究生學歷。畢業后主要參與數據倉庫、商務智能等方面的項目，期間做過數據處理、數據分析、數據挖掘等工作，行業涉及金融、物流、制造業等。近期主要做復雜數據存儲、清理、轉換等工作，同時在大數據方面也很有興趣并投入大量時間和精力，且將持續為之。
書友推薦
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
- >
李白與唐代文化
- >
伯納黛特,你要去哪(2021新版)
- >
中國歷史的瞬間
- >
名家帶你讀魯迅:朝花夕拾
- >
朝聞道
- >
詩經-先民的歌唱
- >
二體千字文
本類暢銷
