掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
大數據技術體系詳解原理.架構與實踐 版權信息
- ISBN：9787111590729
- 條形碼：9787111590729 ; 978-7-111-59072-9
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
大數據技術體系詳解原理.架構與實踐 本書特色
本書站在大數據落地應用的角度，系統闡述大數據從數據收集，到數據存儲、分布式協調及資源管理、計算引擎、分析工具，再到數據可視化這一完整流程，本書既包含主要技術的實現原理及其框架，也包含了具體落地指導，是幫助企業和個人整體了解大數據框架不可多得的參考書。本章主要包括6個部分共16章的內容，其中：第壹部分介紹了大數據體系架構，以及Google和Hadoop技術棧；第二部分介紹大數據分析相關技術，主要涉及關系型數據收集工具Sqoop與Canel、非關系型數據收集系統Flume以及分布式消息隊列Kafka；第三部分介紹大數據存儲相關技術，涉及數據存儲格式、分布式文件系統以及分布式數據庫；第四部分介紹資源管理和服務協調相關技術，涉及資源管理和調度系統YARN以及資源協調系統ZooKeeper；第五部分介紹計算引擎相關技術，涉及批處理、交互式處理以及流式實時處理三類引擎；第六部分數據分析相關技術，涉及基于數據分析語言HQL與SQL、大數據統一編程模型及機器學習庫等。
大數據技術體系詳解原理.架構與實踐 內容簡介
本書站在大數據落地應用的角度，系統闡述大數據從數據收集，到數據存儲、分布式協調及資源管理、計算引擎、分析工具，再到數據可視化這一完整流程，本書既包含主要技術的實現原理及其框架，也包含了具體落地指導，是幫助企業和個人整體了解大數據框架不可多得的參考書。本章主要包括6個部分共16章的內容，其中：第壹部分介紹了大數據體系架構，以及Google和Hadoop技術棧；第二部分介紹大數據分析相關技術，主要涉及關系型數據收集工具Sqoop與Canel、非關系型數據收集系統Flume以及分布式消息隊列Kafka；第三部分介紹大數據存儲相關技術，涉及數據存儲格式、分布式文件系統以及分布式數據庫；第四部分介紹資源管理和服務協調相關技術，涉及資源管理和調度系統YARN以及資源協調系統ZooKeeper；第五部分介紹計算引擎相關技術，涉及批處理、交互式處理以及流式實時處理三類引擎；第六部分數據分析相關技術，涉及基于數據分析語言HQL與SQL、大數據統一編程模型及機器學習庫等。
大數據技術體系詳解原理.架構與實踐 目錄
目 錄?Contents
前 言
**部分 概述篇
第1章 企業級大數據技術體系概述 2
1.1 大數據系統產生背景及應用場景 2
1.1.1 產生背景 2
1.1.2 常見大數據應用場景 3
1.2 企業級大數據技術框架 5
1.2.1 數據收集層 6
1.2.2 數據存儲層 7
1.2.3 資源管理與服務協調層 7
1.2.4 計算引擎層 8
1.2.5 數據分析層 9
1.2.6 數據可視化層 9
1.3 企業級大數據技術實現方案 9
1.3.1 Google大數據技術棧 10
1.3.2 Hadoop與Spark開源大數據技術棧 12
1.4 大數據架構：Lambda Architecture 15
1.5 Hadoop與Spark版本選擇及安裝部署 16
1.5.1 Hadoop與Spark版本選擇 16
1.5.2 Hadoop與Spark安裝部署 17
1.6 小結 18
1.7 本章問題 18
第二部分 數據收集篇
第2章 關系型數據的收集 20
2.1 Sqoop概述 20
2.1.1 設計動機 20
2.1.2 Sqoop基本思想及特點 21
2.2 Sqoop基本架構 21
2.2.1 Sqoop1基本架構 22
2.2.2 Sqoop2基本架構 23
2.2.3 Sqoop1與Sqoop2對比 24
2.3 Sqoop使用方式 25
2.3.1 Sqoop1使用方式 25
2.3.2 Sqoop2使用方式 28
2.4 數據增量收集CDC 31
2.4.1 CDC動機與應用場景 31
2.4.2 CDC開源實現Canal 32
2.4.3 多機房數據同步系統Otter 33
2.5 小結 35
2.6 本章問題 35
第3章 非關系型數據的收集 36
3.1 概述 36
3.1.1 Flume設計動機 36
3.1.2 Flume基本思想及特點 37
3.2 Flume NG基本架構 38
3.2.1 Flume NG基本架構 38
3.2.2 Flume NG高級組件 41
3.3 Flume NG數據流拓撲構建方法 42
3.3.1 如何構建數據流拓撲 42
3.3.2 數據流拓撲實例剖析 46
3.4 小結 50
3.5 本章問題 50
第4章 分布式消息隊列Kafka 51
4.1 概述 51
4.1.1 Kafka設計動機 51
4.1.2 Kafka特點 53
4.2 Kafka設計架構 53
4.2.1 Kafka基本架構 54
4.2.2 Kafka各組件詳解 54
4.2.3 Kafka關鍵技術點 58
4.3 Kafka程序設計 60
4.3.1 Producer程序設計 61
4.3.2 Consumer程序設計 63
4.3.3 開源Producer與Consumer實現 65
4.4 Kafka典型應用場景 65
4.5 小結 67
4.6 本章問題 67
第三部分 數據存儲篇
第5章 數據序列化與文件存儲格式 70
5.1 數據序列化的意義 70
5.2 數據序列化方案 72
5.2.1 序列化框架Thrift 72
5.2.2 序列化框架Protobuf 74
5.2.3 序列化框架Avro 76
5.2.4 序列化框架對比 78
5.3 文件存儲格式剖析 79
5.3.1 行存儲與列存儲 79
5.3.2 行式存儲格式 80
5.3.3 列式存儲格式ORC、Parquet與CarbonData 82
5.4 小結 88
5.5 本章問題 89
第6章 分布式文件系統 90
6.1 背景 90
6.2 文件級別和塊級別的分布式文件系統 91
6.2.1 文件級別的分布式系統 91
6.2.2 塊級別的分布式系統 92
6.3 HDFS基本架構 93
6.4 HDFS關鍵技術 94
6.4.1 容錯性設計 95
6.4.2 副本放置策略 95
6.4.3 異構存儲介質 96
6.4.4 集中式緩存管理 97
6.5 HDFS訪問方式 98
6.5.1 HDFS shell 98
6.5.2 HDFS API 100
6.5.3 數據收集組件 101
6.5.4 計算引擎 102
6.6 小結 102
6.7 本章問題 103
第7章 分布式結構化存儲系統 104
7.1 背景 104
7.2 HBase數據模型 105
7.2.1 邏輯數據模型 105
7.2.2 物理數據存儲 107
7.3 HBase基本架構 108
7.3.1 HBase基本架構 108
7.3.2 HBase內部原理 110
7.4 HBase訪問方式 114
7.4.1 HBase shell 114
7.4.2 HBase API 116
7.4.3 數據收集組件 118
7.4.4 計算引擎 119
7.4.5 Apache Phoenix 119
7.5 HBase應用案例 120
7.5.1 社交關系數據存儲 120
7.5.2 時間序列數據庫OpenTSDB 122
7.6 分布式列式存儲系統Kudu 125
7.6.1 Kudu基本特點 125
7.6.2 Kudu數據模型與架構 126
7.6.3 HBase與Kudu對比 126
7.7 小結 127
7.8 本章問題 127
第四部分 分布式協調與資源管理篇
第8章 分布式協調服務ZooKeeper 130
8.1 分布式協調服務的存在意義 130
8.1.1 leader選舉 130
8.1.2 負載均衡 131
8.2 ZooKeeper數據模型 132
8.3 ZooKeeper基本架構 133
8.4 ZooKeeper程序設計 134
8.4.1 ZooKeeper API 135
8.4.2 Apache Curator 139
8.5 ZooKeeper應用案例 142
8.5.1 leader選舉 142
8.5.2 分布式隊列 143
8.5.3 負載均衡 143
8.6 小結 144
8.7 本章問題 145
第9章 資源管理與調度系統YARN 146
9.1 YARN產生背景 146
9.1.1 MRv1局限性 146
9.1.2 YARN設計動機 147
9.2 YARN設計思想 148
9.3 YARN的基本架構與原理 149
9.3.1 YARN基本架構 149
9.3.2 YARN高可用 152
9.3.3 YARN工作流程 153
9.4 YARN資源調度器 155
9.4.1 層級隊列管理機制 155
9.4.2 多租戶資源調度器產生背景 156
9.4.3 Capacity/Fair Scheduler 157
9.4.4 基于節點標簽的調度 160
9.4.5 資源搶占
前 言
**部分 概述篇
第1章 企業級大數據技術體系概述 2
1.1 大數據系統產生背景及應用場景 2
1.1.1 產生背景 2
1.1.2 常見大數據應用場景 3
1.2 企業級大數據技術框架 5
1.2.1 數據收集層 6
1.2.2 數據存儲層 7
1.2.3 資源管理與服務協調層 7
1.2.4 計算引擎層 8
1.2.5 數據分析層 9
1.2.6 數據可視化層 9
1.3 企業級大數據技術實現方案 9
1.3.1 Google大數據技術棧 10
1.3.2 Hadoop與Spark開源大數據技術棧 12
1.4 大數據架構：Lambda Architecture 15
1.5 Hadoop與Spark版本選擇及安裝部署 16
1.5.1 Hadoop與Spark版本選擇 16
1.5.2 Hadoop與Spark安裝部署 17
1.6 小結 18
1.7 本章問題 18
第二部分 數據收集篇
第2章 關系型數據的收集 20
2.1 Sqoop概述 20
2.1.1 設計動機 20
2.1.2 Sqoop基本思想及特點 21
2.2 Sqoop基本架構 21
2.2.1 Sqoop1基本架構 22
2.2.2 Sqoop2基本架構 23
2.2.3 Sqoop1與Sqoop2對比 24
2.3 Sqoop使用方式 25
2.3.1 Sqoop1使用方式 25
2.3.2 Sqoop2使用方式 28
2.4 數據增量收集CDC 31
2.4.1 CDC動機與應用場景 31
2.4.2 CDC開源實現Canal 32
2.4.3 多機房數據同步系統Otter 33
2.5 小結 35
2.6 本章問題 35
第3章 非關系型數據的收集 36
3.1 概述 36
3.1.1 Flume設計動機 36
3.1.2 Flume基本思想及特點 37
3.2 Flume NG基本架構 38
3.2.1 Flume NG基本架構 38
3.2.2 Flume NG高級組件 41
3.3 Flume NG數據流拓撲構建方法 42
3.3.1 如何構建數據流拓撲 42
3.3.2 數據流拓撲實例剖析 46
3.4 小結 50
3.5 本章問題 50
第4章 分布式消息隊列Kafka 51
4.1 概述 51
4.1.1 Kafka設計動機 51
4.1.2 Kafka特點 53
4.2 Kafka設計架構 53
4.2.1 Kafka基本架構 54
4.2.2 Kafka各組件詳解 54
4.2.3 Kafka關鍵技術點 58
4.3 Kafka程序設計 60
4.3.1 Producer程序設計 61
4.3.2 Consumer程序設計 63
4.3.3 開源Producer與Consumer實現 65
4.4 Kafka典型應用場景 65
4.5 小結 67
4.6 本章問題 67
第三部分 數據存儲篇
第5章 數據序列化與文件存儲格式 70
5.1 數據序列化的意義 70
5.2 數據序列化方案 72
5.2.1 序列化框架Thrift 72
5.2.2 序列化框架Protobuf 74
5.2.3 序列化框架Avro 76
5.2.4 序列化框架對比 78
5.3 文件存儲格式剖析 79
5.3.1 行存儲與列存儲 79
5.3.2 行式存儲格式 80
5.3.3 列式存儲格式ORC、Parquet與CarbonData 82
5.4 小結 88
5.5 本章問題 89
第6章 分布式文件系統 90
6.1 背景 90
6.2 文件級別和塊級別的分布式文件系統 91
6.2.1 文件級別的分布式系統 91
6.2.2 塊級別的分布式系統 92
6.3 HDFS基本架構 93
6.4 HDFS關鍵技術 94
6.4.1 容錯性設計 95
6.4.2 副本放置策略 95
6.4.3 異構存儲介質 96
6.4.4 集中式緩存管理 97
6.5 HDFS訪問方式 98
6.5.1 HDFS shell 98
6.5.2 HDFS API 100
6.5.3 數據收集組件 101
6.5.4 計算引擎 102
6.6 小結 102
6.7 本章問題 103
第7章 分布式結構化存儲系統 104
7.1 背景 104
7.2 HBase數據模型 105
7.2.1 邏輯數據模型 105
7.2.2 物理數據存儲 107
7.3 HBase基本架構 108
7.3.1 HBase基本架構 108
7.3.2 HBase內部原理 110
7.4 HBase訪問方式 114
7.4.1 HBase shell 114
7.4.2 HBase API 116
7.4.3 數據收集組件 118
7.4.4 計算引擎 119
7.4.5 Apache Phoenix 119
7.5 HBase應用案例 120
7.5.1 社交關系數據存儲 120
7.5.2 時間序列數據庫OpenTSDB 122
7.6 分布式列式存儲系統Kudu 125
7.6.1 Kudu基本特點 125
7.6.2 Kudu數據模型與架構 126
7.6.3 HBase與Kudu對比 126
7.7 小結 127
7.8 本章問題 127
第四部分 分布式協調與資源管理篇
第8章 分布式協調服務ZooKeeper 130
8.1 分布式協調服務的存在意義 130
8.1.1 leader選舉 130
8.1.2 負載均衡 131
8.2 ZooKeeper數據模型 132
8.3 ZooKeeper基本架構 133
8.4 ZooKeeper程序設計 134
8.4.1 ZooKeeper API 135
8.4.2 Apache Curator 139
8.5 ZooKeeper應用案例 142
8.5.1 leader選舉 142
8.5.2 分布式隊列 143
8.5.3 負載均衡 143
8.6 小結 144
8.7 本章問題 145
第9章 資源管理與調度系統YARN 146
9.1 YARN產生背景 146
9.1.1 MRv1局限性 146
9.1.2 YARN設計動機 147
9.2 YARN設計思想 148
9.3 YARN的基本架構與原理 149
9.3.1 YARN基本架構 149
9.3.2 YARN高可用 152
9.3.3 YARN工作流程 153
9.4 YARN資源調度器 155
9.4.1 層級隊列管理機制 155
9.4.2 多租戶資源調度器產生背景 156
9.4.3 Capacity/Fair Scheduler 157
9.4.4 基于節點標簽的調度 160
9.4.5 資源搶占
展開全部
大數據技術體系詳解原理.架構與實踐 作者簡介
董西成，資深大數據技術實踐者和研究者，對大數據基礎架構有非常深刻的認識和理解，有著豐富的實踐經驗。熟悉常見的開源大數據解決方案，包括Hadoop和spark生態系統等，擅長底層分布式系統的優化和開發。撰寫了大量Had00p和spark等大數據相關的技術文章并分享在自己的博客上，由于文章技術含量高，所以非常受歡迎。 出版有大數據領域負有盛名的專著：《Hadoop技術內幕：深入解析MapReduce架構設計與實現原理》和《Had00p技術內幕：深入解析YARN架構設計與實現原理》。 個人博客：http://dongxicheng.Org／(大量關于Hadoop的干貨分享) 微信公眾賬號：hadoopl23(大量關于大數據最新資訊和干貨分享) 如果想了解更多關于本書的內容，可訪問：http://hadoopl23.com／
書友推薦
- >
伊索寓言-世界文學名著典藏-全譯本
- >
名家帶你讀魯迅:故事新編
- >
煙與鏡
- >
伯納黛特,你要去哪(2021新版)
- >
小考拉的故事-套裝共3冊
- >
推拿
- >
朝聞道
- >
我從未如此眷戀人間
本類暢銷
