掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
海量數據處理與大數據技術實戰 版權信息
- ISBN：9787301313398
- 條形碼：9787301313398 ; 978-7-301-31339-8
- 裝幀：70g膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
海量數據處理與大數據技術實戰 本書特色
1. 熱門：涵蓋大數據開發領域的常用熱門技術和主流框架，包括Hadoop、Hive、Sqoop、Flume、Kafka、Storm、Zookeeper、MySQL、Redis、ActiveMQ等，詳細講解了其基礎知識、發展現狀和應用前景。 2. 詳盡：從基本原理到環境搭建，再到編程案例，完整講解了大數據離線批處理處理技術和大數據在線實時處理技術。 3. 圖解：講解每種技術框架時都配有大量的框架架構圖和執行流程圖，并為相關的技術框架配有詳細的開發案例。 4. 實用：案例系統分別采用離線批處理計算技術和在線實時計算技術實現，幾乎整合了本書中所涉及的所有大數據框架，對此系統案例稍加修改，便可用于實際的項目開發中。
海量數據處理與大數據技術實戰 內容簡介
《海量數據處理與大數據技術實戰》是大數據開發領域中以實戰案例為主旨的經典之作。本書全面闡述了大數據開發領域中常用的技術原理和框架，以及框架對應的實戰案例。全書共分為四大篇章：大數據基礎篇、大數據離線批處理技術篇、大數據在線實時處理技術篇、大數據處理實戰案例篇。大數據基礎篇主要介紹了大數據的基礎知識、Hadoop和Storm的基礎知識以及發展現狀和應用前景；大數據離線批處理技術篇主要介紹了Hadoop、Hive和Sqoop的基本原理、環境搭建和項目案例；大數據在線實時處理技術篇主要介紹了Flume、Kafka、Storm的基本原理、環境搭建和項目案例；大數據處理實戰案例篇詳細介紹了基于海量日志數據的分析統計系統的實現過程，期間對各種大數據框架進行了整合，此案例項目稍加修改，便可應用于實際開發項目中。
海量數據處理與大數據技術實戰 目錄
第1篇 大數據基礎篇
第1章 大數據處理概論 1
1.1 大數據的定義 2
1.2 大數據的結構類型 3
1.3 大數據處理平臺的基礎架構 4
1.4 大數據處理中的存儲技術 6
1.4.1 提升大數據存儲的容量 6
1.4.2 提升大數據存儲的吞吐量 6
1.4.3 提升大數據存儲的擴展 8
1.5 大數據處理中的計算技術 8
1.5.1 多處理技術 9
1.5.2 并行計算 9
1.5.3 高并發計算 9
1.5.4 離線批處理計算 9
1.5.5 在線實時計算 10
1.6 大數據處理中的容錯性 10
1.6.1 數據存儲的容錯性 10
1.6.2 數據計算的容錯性 12
1.7 大數據處理中的安全性 12
1.7.1 數據存儲的安全性 13
1.7.2 數據計算的安全性 13
1.8 大數據行業應用案例 13
1.8.1 淘寶的千人千面系統 14
1.8.2 滴滴出行的車輛調度系統 14
1.9 本章總結 14
第2章 離線批處理技術——Hadoop 15
2.1 Google核心云計算技術 16
2.1.1 MapReduce編程模型 16
2.1.2 分布式文件系統 17
2.1.3 分布式結構化數據存儲
BigTable 20
2.2 Hadoop云計算技術 21
2.2.1 Hadoop概述 22
2.2.2 Hadoop核心組件 22
2.2.3 Hadoop生態圈 24
2.2.4 Hadoop物理架構 26
2.2.5 Hadoop的原理和運行機制 27
2.2.6 Hadoop相關技術與概述 30
2.2.7 Hadoop的局限性 31
2.3 本章總結 32
第3章 在線實時處理技術——Storm 33
3.1 Storm的定義 34
3.2 Storm的誕生 34
3.2.1 誕生背景 34
3.2.2 Twitter使用Storm 34
3.3 Storm的發展 35
3.4 Storm的基本組件 35
3.4.1 Storm核心組件 35
3.4.2 Storm集群組成 36
3.4.3 Storm分組策略 37
3.5 Storm的可靠性 38
3.6 Storm的特性 40
3.7 其他流式處理框架 41
3.7.1 Apache S4 41
3.7.2 Spark Streaming 41
3.8 Storm的應用現狀和發展趨勢 42
3.8.1 Storm的應用現狀 42
3.8.2 Storm的發展趨勢 43
3.9 本章總結 43
第2篇 大數據離線批處理技術篇
第4章 Hadoop環境準備 44
4.1 Hadoop發行版本的選擇 45
4.1.1 Apache Hadoop 45
4.1.2 CDH 45
4.1.3 Hadoop版本 45
4.1.4 如何選擇Hadoop版本 47
4.2 Hadoop原理 47
4.2.1 HDFS原理 48
4.2.2 Hadoop MapReduce原理 51
4.2.3 Hadoop YARN原理 51
4.3 Hadoop架構 53
4.3.1 HDFS架構 53
4.3.2 Hadoop MapReduce架構 55
4.3.3 Hadoop YRAN架構 56
4.4 安裝CentOS虛擬機 57
4.4.1 安裝VMWare虛擬機 57
4.4.2 安裝CentOS虛擬機 59
4.4.3 修改主機名 66
4.4.4 配置靜態IP地址 67
4.4.5 配置主機名和IP地址的
映射關系 69
4.4.6 關閉防火墻 70
4.4.7 配置SSH免密碼登錄 70
4.5 本章總結 72
第5章 安裝配置Hadoop 73
5.1 添加Hadoop用戶身份 74
5.1.1 添加Hadoop用戶組和用戶 74
5.1.2 賦予Hadoop用戶目錄權限 74
5.1.3 賦予Hadoop用戶sodu
權限 74
5.1.4 賦予Hadoop用戶登錄密碼 75
5.1.5 配置Hadoop用戶SSH
免密碼登錄 75
5.2 Hadoop的安裝模式 75
5.2.1 本地模式 75
5.2.2 偽集群模式 76
5.2.3 集群模式 76
5.3 JDK的安裝和配置 76
5.3.1 下載JDK 77
5.3.2 上傳JDK到CentOS虛擬機 77
5.3.3 安裝并配置JDK 78
5.4 Hadoop的本地模式安裝和配置 80
5.4.1 下載Hadoop安裝包 80
5.4.2 安裝并配置Hadoop環境 81
5.4.3 以本地模式配置Hadoop 82
5.4.4 驗證Hadoop本地模式是否
安裝成功 82
5.5 Hadoop的偽集群模式安裝和配置 84
5.5.1 以偽集群模式配置Hadoop 84
5.5.2 格式化NameNode 86
5.5.3 啟動Hadoop 87
5.5.4 以瀏覽器方式驗證環境搭建
是否成功 87
5.5.5 運行MapReduce程序驗證
環境搭建是否成功 88
5.6 Hadoop集群模式的安裝和配置
（完全生產環境） 90
5.6.1 服務器規劃 90
5.6.2 Hadoop集群環境的準備 91
5.6.3 安裝并配置集群環境下的
JDK 93
5.6.4 搭建并配置Zookeeper集群 94
5.6.5 搭建并配置Hadoop集群 96
5.6.6 啟動Zookeeper集群 103
5.6.7 啟動Hadoop集群（1） 104
5.6.8 啟動Hadoop集群（2） 109
5.6.9 測試Hadoop HA的
高可用性 111
5.7 Hadoop集群模式的安裝和配置
（精簡版） 114
5.7.1 服務器規劃 115
5.7.2 搭建并測試Hadoop
集群環境 115
5.8 搭建Hadoop環境遇到的問題及
解決方案 116
5.8.1 以root用戶啟動Hadoop
的問題 116
5.8.2 權限被拒絕 117
5.8.3 sudo命令異常 117
5.8.4 Hadoop 3.x端口變動 118
5.8.5 Hadoop 3.x未能找到或加載
MRAppMaster類 118
5.8.6 未能加載native-hadoop library
的警告 120
5.8.7 Hadoop 3.x運行自帶的
wordcount報錯 120
5.8.8 Hadoop命令變動 122
5.9 Hadoop集群動態增加和刪除
節點 123
5.9.1 準備工作 123
5.9.2 動態添加DataNode和
NodeManager 124
5.9.3 動態刪除DataNode與
NodeManager（1） 127
5.9.4 動態刪除DataNode與
NodeManager（2） 129
5.10 Hadoop目錄結構說明 130
5.11 本章總結 130
第1章 大數據處理概論 1
1.1 大數據的定義 2
1.2 大數據的結構類型 3
1.3 大數據處理平臺的基礎架構 4
1.4 大數據處理中的存儲技術 6
1.4.1 提升大數據存儲的容量 6
1.4.2 提升大數據存儲的吞吐量 6
1.4.3 提升大數據存儲的擴展 8
1.5 大數據處理中的計算技術 8
1.5.1 多處理技術 9
1.5.2 并行計算 9
1.5.3 高并發計算 9
1.5.4 離線批處理計算 9
1.5.5 在線實時計算 10
1.6 大數據處理中的容錯性 10
1.6.1 數據存儲的容錯性 10
1.6.2 數據計算的容錯性 12
1.7 大數據處理中的安全性 12
1.7.1 數據存儲的安全性 13
1.7.2 數據計算的安全性 13
1.8 大數據行業應用案例 13
1.8.1 淘寶的千人千面系統 14
1.8.2 滴滴出行的車輛調度系統 14
1.9 本章總結 14
第2章 離線批處理技術——Hadoop 15
2.1 Google核心云計算技術 16
2.1.1 MapReduce編程模型 16
2.1.2 分布式文件系統 17
2.1.3 分布式結構化數據存儲
BigTable 20
2.2 Hadoop云計算技術 21
2.2.1 Hadoop概述 22
2.2.2 Hadoop核心組件 22
2.2.3 Hadoop生態圈 24
2.2.4 Hadoop物理架構 26
2.2.5 Hadoop的原理和運行機制 27
2.2.6 Hadoop相關技術與概述 30
2.2.7 Hadoop的局限性 31
2.3 本章總結 32
第3章 在線實時處理技術——Storm 33
3.1 Storm的定義 34
3.2 Storm的誕生 34
3.2.1 誕生背景 34
3.2.2 Twitter使用Storm 34
3.3 Storm的發展 35
3.4 Storm的基本組件 35
3.4.1 Storm核心組件 35
3.4.2 Storm集群組成 36
3.4.3 Storm分組策略 37
3.5 Storm的可靠性 38
3.6 Storm的特性 40
3.7 其他流式處理框架 41
3.7.1 Apache S4 41
3.7.2 Spark Streaming 41
3.8 Storm的應用現狀和發展趨勢 42
3.8.1 Storm的應用現狀 42
3.8.2 Storm的發展趨勢 43
3.9 本章總結 43
第2篇 大數據離線批處理技術篇
第4章 Hadoop環境準備 44
4.1 Hadoop發行版本的選擇 45
4.1.1 Apache Hadoop 45
4.1.2 CDH 45
4.1.3 Hadoop版本 45
4.1.4 如何選擇Hadoop版本 47
4.2 Hadoop原理 47
4.2.1 HDFS原理 48
4.2.2 Hadoop MapReduce原理 51
4.2.3 Hadoop YARN原理 51
4.3 Hadoop架構 53
4.3.1 HDFS架構 53
4.3.2 Hadoop MapReduce架構 55
4.3.3 Hadoop YRAN架構 56
4.4 安裝CentOS虛擬機 57
4.4.1 安裝VMWare虛擬機 57
4.4.2 安裝CentOS虛擬機 59
4.4.3 修改主機名 66
4.4.4 配置靜態IP地址 67
4.4.5 配置主機名和IP地址的
映射關系 69
4.4.6 關閉防火墻 70
4.4.7 配置SSH免密碼登錄 70
4.5 本章總結 72
第5章 安裝配置Hadoop 73
5.1 添加Hadoop用戶身份 74
5.1.1 添加Hadoop用戶組和用戶 74
5.1.2 賦予Hadoop用戶目錄權限 74
5.1.3 賦予Hadoop用戶sodu
權限 74
5.1.4 賦予Hadoop用戶登錄密碼 75
5.1.5 配置Hadoop用戶SSH
免密碼登錄 75
5.2 Hadoop的安裝模式 75
5.2.1 本地模式 75
5.2.2 偽集群模式 76
5.2.3 集群模式 76
5.3 JDK的安裝和配置 76
5.3.1 下載JDK 77
5.3.2 上傳JDK到CentOS虛擬機 77
5.3.3 安裝并配置JDK 78
5.4 Hadoop的本地模式安裝和配置 80
5.4.1 下載Hadoop安裝包 80
5.4.2 安裝并配置Hadoop環境 81
5.4.3 以本地模式配置Hadoop 82
5.4.4 驗證Hadoop本地模式是否
安裝成功 82
5.5 Hadoop的偽集群模式安裝和配置 84
5.5.1 以偽集群模式配置Hadoop 84
5.5.2 格式化NameNode 86
5.5.3 啟動Hadoop 87
5.5.4 以瀏覽器方式驗證環境搭建
是否成功 87
5.5.5 運行MapReduce程序驗證
環境搭建是否成功 88
5.6 Hadoop集群模式的安裝和配置
（完全生產環境） 90
5.6.1 服務器規劃 90
5.6.2 Hadoop集群環境的準備 91
5.6.3 安裝并配置集群環境下的
JDK 93
5.6.4 搭建并配置Zookeeper集群 94
5.6.5 搭建并配置Hadoop集群 96
5.6.6 啟動Zookeeper集群 103
5.6.7 啟動Hadoop集群（1） 104
5.6.8 啟動Hadoop集群（2） 109
5.6.9 測試Hadoop HA的
高可用性 111
5.7 Hadoop集群模式的安裝和配置
（精簡版） 114
5.7.1 服務器規劃 115
5.7.2 搭建并測試Hadoop
集群環境 115
5.8 搭建Hadoop環境遇到的問題及
解決方案 116
5.8.1 以root用戶啟動Hadoop
的問題 116
5.8.2 權限被拒絕 117
5.8.3 sudo命令異常 117
5.8.4 Hadoop 3.x端口變動 118
5.8.5 Hadoop 3.x未能找到或加載
MRAppMaster類 118
5.8.6 未能加載native-hadoop library
的警告 120
5.8.7 Hadoop 3.x運行自帶的
wordcount報錯 120
5.8.8 Hadoop命令變動 122
5.9 Hadoop集群動態增加和刪除
節點 123
5.9.1 準備工作 123
5.9.2 動態添加DataNode和
NodeManager 124
5.9.3 動態刪除DataNode與
NodeManager（1） 127
5.9.4 動態刪除DataNode與
NodeManager（2） 129
5.10 Hadoop目錄結構說明 130
5.11 本章總結 130
展開全部
海量數據處理與大數據技術實戰 節選
Google 存儲的海量數據中，既有小到幾KB 的小文件，也有大到GB 級別的大文件，這就要求GFS 能夠同時存儲這些小文件和大文件，并能夠使這些小文件和大文件在同一個GFS 中共存。 GFS 存儲一個大文件時，會將這個大文件切分成一個個小的Chunk 塊，保存到不同的Chunk 服務器上。當客戶端讀取數據時，首先向Master 服務器詢問它應該聯系的Chunk服務器，Master 服務器會將其應該聯系的Chunk 服務器的一些元數據信息（命名空間、Chunk 與文件名的映射表、Chunk 副本的位置信息）返回給客戶端，客戶端獲取到這些元數據信息后會將其緩存一段時間，后續將直接和Chunk 服務器進行數據讀/ 寫操作，如圖2-4 所示。
海量數據處理與大數據技術實戰 作者簡介
冰河（本名劉亞壯），大數據架構師，編程專家，擁有多年的項目架構和實戰經驗，多年來致力于分布式系統、微服務、分布式數據庫、大數據技術的研究，在高并發、高可用、高可擴展性、高可維護性和大數據等領域擁有豐富的實戰經驗，對Hadoop、Spark、Storm等大數據框架源碼進行過深度分析并具有豐富的實戰經驗。
書友推薦
- >
小考拉的故事-套裝共3冊
- >
煙與鏡
- >
月亮虎
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
推拿
- >
詩經-先民的歌唱
- >
姑媽的寶刀
本類暢銷
