中圖網(wǎng)小程序
一鍵登錄
更方便
大數(shù)據(jù)技術(shù)基礎(chǔ) 第2版 版權(quán)信息
- ISBN：9787302667308
- 條形碼：9787302667308 ; 978-7-302-66730-8
- 裝幀：70g膠版紙
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
大數(shù)據(jù)技術(shù)基礎(chǔ) 第2版 本書特色
本書全面系統(tǒng)地介紹了大數(shù)據(jù)基礎(chǔ)知識和相關(guān)技術(shù)。 融會(huì)貫通大數(shù)據(jù)概念與大數(shù)據(jù)技術(shù)及應(yīng)用，配套應(yīng)用案例培養(yǎng)大數(shù)據(jù)思維及計(jì)算思維，構(gòu)建數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)知識體系，便于讀者更好理解和掌握大數(shù)據(jù)技術(shù)及應(yīng)用。
大數(shù)據(jù)技術(shù)基礎(chǔ) 第2版 內(nèi)容簡介
本書系統(tǒng)介紹了大數(shù)據(jù)基礎(chǔ)知識和相關(guān)技術(shù)，全書分為大數(shù)據(jù)基礎(chǔ)、大數(shù)據(jù)存儲(chǔ)與管理篇、大數(shù)據(jù)采集與預(yù)處理、大數(shù)據(jù)分析與挖掘、大數(shù)據(jù)平臺Hadoop實(shí)踐與應(yīng)用案例5篇，共17章，主要內(nèi)容包括大數(shù)據(jù)基本概念、大數(shù)據(jù)平臺Hadoop基礎(chǔ)、大數(shù)據(jù)存儲(chǔ)與管理基本概念、大數(shù)據(jù)分布式文件系統(tǒng)HDFS、大數(shù)據(jù)分布式數(shù)據(jù)庫系統(tǒng)HBase、大數(shù)據(jù)分布式數(shù)據(jù)倉庫系統(tǒng)Hive、大數(shù)據(jù)采集與預(yù)處理技術(shù)、大數(shù)據(jù)采集工具、大數(shù)據(jù)計(jì)算模式、大數(shù)據(jù)MapReduce計(jì)算模型、大數(shù)據(jù)Spark計(jì)算模型、大數(shù)據(jù)Flink計(jì)算模型、大數(shù)據(jù)MapReduce基礎(chǔ)算法、大數(shù)據(jù)挖掘算法、Hadoop大數(shù)據(jù)平臺實(shí)踐、開敞式碼頭系泊纜力預(yù)測應(yīng)用案例以及曙光XData大數(shù)據(jù)平臺及應(yīng)用案例。全書提供了大量應(yīng)用實(shí)例，且大多章后附有習(xí)題。本書特色在于融會(huì)貫通大數(shù)據(jù)基本概念與大數(shù)據(jù)技術(shù)及應(yīng)用，很好地將大數(shù)據(jù)概念、技術(shù)及應(yīng)用融合在一起，便于讀者更好地理解大數(shù)據(jù)基本概念，更快掌握大數(shù)據(jù)前沿技術(shù)及其應(yīng)用。
本書適合作為高等院校計(jì)算機(jī)、軟件工程、信息管理等相關(guān)專業(yè)的本科生及研究生大數(shù)據(jù)技術(shù)課程的教學(xué)用書，也可作為相關(guān)T工程技術(shù)人員的參考用書。
大數(shù)據(jù)技術(shù)基礎(chǔ) 第2版 目錄
第1篇 大數(shù)據(jù)基礎(chǔ)
第1章 大數(shù)據(jù)基本概念……………………………………………………………………… 3
1.1 大數(shù)據(jù)時(shí)代 ………………………………………………………………………… 3
1.1.1 大數(shù)據(jù)有多大……………………………………………………………… 3
1.1.2 大數(shù)據(jù)的產(chǎn)生……………………………………………………………… 4
1.1.3 大數(shù)據(jù)的發(fā)展歷程………………………………………………………… 5
1.1.4 大數(shù)據(jù)對科學(xué)研究的影響………………………………………………… 7
1.1.5 大數(shù)據(jù)對思維模式的影響 ……………………………………………… 10
1.2 大數(shù)據(jù)的定義與特征……………………………………………………………… 11
1.2.1 大數(shù)據(jù)的定義 …………………………………………………………… 11
1.2.2 大數(shù)據(jù)的數(shù)據(jù)特征 ……………………………………………………… 11
1.3 大數(shù)據(jù)的應(yīng)用……………………………………………………………………… 13
1.3.1 大數(shù)據(jù)在科研領(lǐng)域的應(yīng)用 ……………………………………………… 13
1.3.2 大數(shù)據(jù)在交通領(lǐng)域的應(yīng)用 ……………………………………………… 13
1.3.3 大數(shù)據(jù)在通信領(lǐng)域的應(yīng)用 ……………………………………………… 13
1.3.4 大數(shù)據(jù)在醫(yī)療領(lǐng)域的應(yīng)用 ……………………………………………… 13
1.3.5 大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用 ……………………………………………… 13
1.3.6 大數(shù)據(jù)在制造領(lǐng)域的應(yīng)用 ……………………………………………… 13
1.3.7 大數(shù)據(jù)在體育領(lǐng)域的應(yīng)用 ……………………………………………… 14
1.3.8 大數(shù)據(jù)在個(gè)性化生活領(lǐng)域的應(yīng)用 ……………………………………… 14
1.3.9 大數(shù)據(jù)在安全領(lǐng)域的應(yīng)用 ……………………………………………… 14
1.4 大數(shù)據(jù)框架體系…………………………………………………………………… 14
1.4.1 大數(shù)據(jù)基礎(chǔ)設(shè)施層 ……………………………………………………… 14
1.4.2 大數(shù)據(jù)采集層 …………………………………………………………… 14
1.4.3 大數(shù)據(jù)存儲(chǔ)層 …………………………………………………………… 15
1.4.4 大數(shù)據(jù)處理層 …………………………………………………………… 15
1.4.5 大數(shù)據(jù)交互展示層 ……………………………………………………… 15
Ⅷ
1.4.6 大數(shù)據(jù)應(yīng)用層 …………………………………………………………… 15
1.5 大數(shù)據(jù)關(guān)鍵技術(shù)…………………………………………………………………… 15
1.5.1 數(shù)據(jù)采集與預(yù)處理技術(shù) ………………………………………………… 15
1.5.2 數(shù)據(jù)存儲(chǔ)和管理技術(shù) …………………………………………………… 16
1.5.3 數(shù)據(jù)分析與挖掘技術(shù) …………………………………………………… 16
1.5.4 數(shù)據(jù)可視化技術(shù) ………………………………………………………… 16
1.5.5 數(shù)據(jù)安全和隱私保護(hù)技術(shù) ……………………………………………… 17
1.6 大數(shù)據(jù)支撐技術(shù)…………………………………………………………………… 18
1.6.1 云計(jì)算 …………………………………………………………………… 18
1.6.2 物聯(lián)網(wǎng) …………………………………………………………………… 21
1.6.3 人工智能 ………………………………………………………………… 25
習(xí)題 ……………………………………………………………………………………… 27
第2章 大數(shù)據(jù)平臺Hadoop基礎(chǔ) ………………………………………………………… 28
2.1 大數(shù)據(jù)平臺 Hadoop概述 ………………………………………………………… 28
2.1.1 Hadoop簡介 …………………………………………………………… 28
2.1.2 Hadoop項(xiàng)目起源 ……………………………………………………… 28
2.1.3 Hadoop發(fā)展歷程 ……………………………………………………… 29
2.1.4 Hadoop特性 …………………………………………………………… 30
2.1.5 Hadoop主要用途 ……………………………………………………… 30
2.2 大數(shù)據(jù)平臺 Hadoop原理 ………………………………………………………… 31
2.2.1 分布式計(jì)算原理 ………………………………………………………… 31
2.2.2 MapReduce原理 ………………………………………………………… 33
2.2.3 Yarn原理………………………………………………………………… 33
2.3 大數(shù)據(jù)平臺 Hadoop組件 ………………………………………………………… 37
2.3.1 HDFS組件 ……………………………………………………………… 38
2.3.2 MapReduce組件 ………………………………………………………… 38
2.3.3 ZooKeeper組件 ………………………………………………………… 39
2.3.4 Yarn組件………………………………………………………………… 39
2.3.5 HBase組件 ……………………………………………………………… 39
2.3.6 Hive組件 ………………………………………………………………… 40
2.3.7 Spark組件 ……………………………………………………………… 40
2.3.8 Mahout組件 …………………………………………………………… 40
2.3.9 Flume組件 ……………………………………………………………… 41
2.3.10 Sqoop組件 ……………………………………………………………… 41
2.3.11 Kafka組件 ……………………………………………………………… 42
2.3.12 Pig組件 ………………………………………………………………… 42
2.3.13 Ambari組件 …………………………………………………………… 42
2.3.14 Tez組件 ………………………………………………………………… 42
Ⅸ
2.3.15 Common組件 ………………………………………………………… 43 習(xí)題 ……………………………………………………………………………………… 43
第2篇 大數(shù)據(jù)存儲(chǔ)與管理
第3章 大數(shù)據(jù)存儲(chǔ)與管理基本概念 ……………………………………………………… 47
3.1 大數(shù)據(jù)的數(shù)據(jù)類型………………………………………………………………… 47
3.1.1 結(jié)構(gòu)化數(shù)據(jù) ……………………………………………………………… 47
3.1.2 半結(jié)構(gòu)化數(shù)據(jù) …………………………………………………………… 48
3.1.3 非結(jié)構(gòu)化數(shù)據(jù) …………………………………………………………… 48
3.2 數(shù)據(jù)管理技術(shù)的發(fā)展……………………………………………………………… 48
3.2.1 文件系統(tǒng)階段 …………………………………………………………… 48
3.2.2 數(shù)據(jù)庫系統(tǒng)階段 ………………………………………………………… 49
3.2.3 數(shù)據(jù)倉庫階段 …………………………………………………………… 52
3.2.4 分布式系統(tǒng)階段 ………………………………………………………… 54
3.3 分布式系統(tǒng)基礎(chǔ)理論……………………………………………………………… 56
3.3.1 CAP理論 ………………………………………………………………… 56
3.3.2 BASE 思想 ……………………………………………………………… 57
3.4 NoSQL 數(shù)據(jù)庫 …………………………………………………………………… 58
3.4.1 NoSQL 數(shù)據(jù)庫的興起…………………………………………………… 58
3.4.2 NoSQL 數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫的比較…………………………………… 59
3.4.3 NoSQL 數(shù)據(jù)庫的4大類型……………………………………………… 60
3.5 大數(shù)據(jù)存儲(chǔ)與管理技術(shù)…………………………………………………………… 62
3.5.1 分布式存儲(chǔ)技術(shù) ………………………………………………………… 62
3.5.2 虛擬化技術(shù) ……………………………………………………………… 64
3.5.3 云存儲(chǔ)技術(shù) ……………………………………………………………… 65
習(xí)題 ……………………………………………………………………………………… 67
第4章 大數(shù)據(jù)分布式文件系統(tǒng)HDFS …………………………………………………… 68
4.1 HDFS概述………………………………………………………………………… 68
4.1.1 HDFS簡介 ……………………………………………………………… 68
4.1.2 HDFS設(shè)計(jì)特點(diǎn) ………………………………………………………… 70
4.2 HDFS工作原理…………………………………………………………………… 74
4.2.1 HDFS體系結(jié)構(gòu) ………………………………………………………… 74
4.2.2 HDFS工作組件 ………………………………………………………… 75
4.3 HDFS工作流程…………………………………………………………………… 76
4.3.1 讀數(shù)據(jù)的過程 …………………………………………………………… 77
4.3.2 寫數(shù)據(jù)的過程 …………………………………………………………… 77
4.4 HDFS基本操作…………………………………………………………………… 78
Ⅹ
4.4.1 HDFS文件操作 ………………………………………………………… 78
4.4.2 HDFS管理命令 ………………………………………………………… 81
4.5 HDFS編程接口…………………………………………………………………… 82
4.5.1 HDFS常用JavaAPI…………………………………………………… 82
4.5.2 HDFSAPI編程實(shí)例 …………………………………………………… 83
習(xí)題 ……………………………………………………………………………………… 85
第5章 大數(shù)據(jù)分布式數(shù)據(jù)庫系統(tǒng)HBase ………………………………………………… 86
5.1 HBase概述 ……………………………………………………………………… 86
5.1.1 HBase簡介 ……………………………………………………………… 86
5.1.2 HBase特性 ……………………………………………………………… 86
5.1.3 HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫對比 ………………………………………… 87
5.1.4 HBase應(yīng)用場景 ………………………………………………………… 88
5.2 HBase數(shù)據(jù)模型 ………………………………………………………………… 88
5.2.1 HBase數(shù)據(jù)模型術(shù)語 …………………………………………………… 88
5.2.2 HBase數(shù)據(jù)邏輯模型 …………………………………………………… 89
5.2.3 HBase數(shù)據(jù)物理模型 …………………………………………………… 90
5.3 HBase工作原理 ………………………………………………………………… 90
5.3.1 HBase體系結(jié)構(gòu) ………………………………………………………… 90
5.3.2 HBase工作組件 ………………………………………………………… 91
5.4 HBase安裝 ……………………………………………………………………… 92
5.4.1 下載 HBase ……………………………………………………………… 92
5.4.2 安裝 HBase ……………………………………………………………… 94
5.4.3 啟動(dòng) HBase ……………………………………………………………… 97
5.4.4 關(guān)閉 HBase ……………………………………………………………… 98
5.5 HBase操作命令 ………………………………………………………………… 98
5.5.1 HBase表操作 …………………………………………………………… 98
5.5.2 HBase數(shù)據(jù)操作 ……………………………………………………… 100
5.6 HBase編程接口 ………………………………………………………………… 100
5.6.1 HBase常用JavaAPI ………………………………………………… 100
5.6.2 HBaseAPI編程實(shí)例 ………………………………………………… 103
習(xí)題……………………………………………………………………………………… 111
第6章 大數(shù)據(jù)分布式數(shù)據(jù)倉庫系統(tǒng)Hive ……………………………………………… 113
6.1 Hive概述 ………………………………………………………………………… 113
6.1.1 Hive特性 ……………………………………………………………… 113
6.1.2 Hive工作原理 ………………………………………………………… 114
6.1.3 Hive執(zhí)行流程 ………………………………………………………… 114
6.2 Hive數(shù)據(jù)類型及數(shù)據(jù)模型 ……………………………………………………… 115
Ⅺ
6.2.1 Hive數(shù)據(jù)類型 ………………………………………………………… 115
6.2.2 Hive數(shù)據(jù)模型 ………………………………………………………… 115
6.3 安裝 Hive ……………………………………………………………………… 117
6.3.1 下載 Hive ……………………………………………………………… 117
6.3.2 安裝配置 Hive ………………………………………………………… 117
6.3.3 安裝 MySQL …………………………………………………………… 119
6.3.4 配置 MySQL 允許 Hive接入 ………………………………………… 120
6.3.5 啟動(dòng) Hive ……………………………………………………………… 120
6.3.6 關(guān)閉 Hive ……………………………………………………………… 121
6.4 HiveSQL ……………………………………………………………………… 121
6.4.1 DDL 語句 ……………………………………………………………… 121
6.4.2 DML 語句 ……………………………………………………………… 122
6.4.3 DQL 語句 ……………………………………………………………… 123
6.4.4 Hive操作實(shí)例 ………………………………………………………… 123
6.5 Hive訪問接口 …………………………………………………………………… 125
6.5.1 HiveCLI訪問接口 …………………………………………………… 125
6.5.2 JDBC 訪問接口 ………………………………………………………… 126 習(xí)題……………………………………………………………………………………… 126
第3篇 大數(shù)據(jù)采集與預(yù)處理
第7章 大數(shù)據(jù)采集與預(yù)處理技術(shù)………………………………………………………… 129
7.1 數(shù)據(jù)抽取、轉(zhuǎn)換、加載技術(shù) ……………………………………………………… 129
7.1.1 ETL 概述 ……………………………………………………………… 129
7.1.2 數(shù)據(jù)抽取………………………………………………………………… 129
7.1.3 數(shù)據(jù)轉(zhuǎn)換………………………………………………………………… 130
7.1.4 數(shù)據(jù)加載………………………………………………………………… 131
7.1.5 ETL 工具 ……………………………………………………………… 132
7.2 數(shù)據(jù)爬蟲技術(shù) …………………………………………………………………… 133
7.2.1 爬蟲流程………………………………………………………………… 133
7.2.2 爬蟲分類………………………………………………………………… 134
7.2.3 大數(shù)據(jù)爬蟲技術(shù)………………………………………………………… 136
7.3 數(shù)據(jù)預(yù)處理技術(shù) ………………………………………………………………… 138
7.3.1 數(shù)據(jù)清理………………………………………………………………… 139
7.3.2 數(shù)據(jù)集成………………………………………………………………… 140
7.3.3 數(shù)據(jù)變換………………………………………………………………… 140
7.3.4 數(shù)據(jù)歸約………………………………………………………………… 142 習(xí)題……………………………………………………………………………………… 142
Ⅻ
第8章 大數(shù)據(jù)采集工具…………………………………………………………………… 143
8.1 Sqoop關(guān)系型大數(shù)據(jù)采集系統(tǒng) ………………………………………………… 143
8.1.1 Sqoop簡介 ……………………………………………………………… 143
8.1.2 Sqoop工作原理 ………………………………………………………… 144
8.2 Flume日志大數(shù)據(jù)采集系統(tǒng) …………………………………………………… 150
8.2.1 Flume簡介……………………………………………………………… 150
8.2.2 Flume工作原理………………………………………………………… 151
8.2.3 Flume的配置與啟動(dòng)…………………………………………………… 155
8.3 Kafka消息隊(duì)列大數(shù)據(jù)采集系統(tǒng) ……………………………………………… 156
8.3.1 Kafka簡介 ……………………………………………………………… 156
8.3.2 Kafka工作原理 ………………………………………………………… 156
8.3.3 Kafka的配置與啟動(dòng) …………………………………………………… 158
8.4 Nutch分布式大數(shù)據(jù)爬蟲系統(tǒng) ………………………………………………… 159
8.4.1 Nutch簡介 ……………………………………………………………… 159
8.4.2 Nutch工作原理 ………………………………………………………… 160 習(xí)題……………………………………………………………………………………… 162
第4篇 大數(shù)據(jù)分析與挖掘
第9章 大數(shù)據(jù)計(jì)算模式…………………………………………………………………… 165
9.1 大數(shù)據(jù)批處理 …………………………………………………………………… 165
9.1.1 大數(shù)據(jù)批處理概述……………………………………………………… 165
9.1.2 大數(shù)據(jù)批處理常用組件………………………………………………… 166
9.2 大數(shù)據(jù)查詢分析計(jì)算 …………………………………………………………… 166
9.2.1 大數(shù)據(jù)查詢分析計(jì)算概述……………………………………………… 166
9.2.2 大數(shù)據(jù)查詢分析計(jì)算組件……………………………………………… 167
9.3 大數(shù)據(jù)流計(jì)算 …………………………………………………………………… 168
9.3.1 大數(shù)據(jù)流計(jì)算概述……………………………………………………… 168
9.3.2 大數(shù)據(jù)流計(jì)算組件……………………………………………………… 169
9.4 大數(shù)據(jù)迭代計(jì)算 ………………………………………………………………… 169
9.4.1 大數(shù)據(jù)迭代計(jì)算概述…………………………………………………… 169
9.4.2 迭代計(jì)算組件…………………………………………………………… 170
9.5 大數(shù)據(jù)圖計(jì)算 …………………………………………………………………… 171
9.5.1 大數(shù)據(jù)圖計(jì)算概述……………………………………………………… 171
9.5.2 圖計(jì)算組件……………………………………………………………… 172 習(xí)題……………………………………………………………………………………… 173
??
第10章 大數(shù)據(jù)MapReduce計(jì)算模型 …………………………………………………… 174
10.1 MapReduce概述 ……………………………………………………………… 174
10.1.1 MapReduce簡介 …………………………………………………… 174
10.1.2 MapReduce由來 …………………………………………………… 175
10.1.3 MapReduce主要功能 ……………………………………………… 175
10.1.4 MapReduce技術(shù)特征 ……………………………………………… 175
10.2 MapReduce模型框架 ………………………………………………………… 176
10.2.1 MapReduce設(shè)計(jì)思想 ……………………………………………… 176
10.2.2 MapReduce模型架構(gòu) ……………………………………………… 177
10.3 MapReduce數(shù)據(jù)處理過程 …………………………………………………… 178
10.3.1 MapReduce運(yùn)行原理 ……………………………………………… 179
10.3.2 數(shù)據(jù)輸入輸出流程 ………………………………………………… 180
10.4 MapReduce程序執(zhí)行過程 …………………………………………………… 181
10.4.1 作業(yè)提交 …………………………………………………………… 182
10.4.2 作業(yè)初始化 ………………………………………………………… 183
10.4.3 作業(yè)分配 …………………………………………………………… 183
10.4.4 任務(wù)執(zhí)行 …………………………………………………………… 184
10.4.5 過程和狀態(tài)更新 …………………………………………………… 184
10.4.6 作業(yè)完成 …………………………………………………………… 184
10.5 MapReduce編程接口 ………………………………………………………… 185
10.5.1 數(shù)據(jù)讀入 …………………………………………………………… 185
10.5.2 Mapper類和 Reducer類…………………………………………… 187
10.5.3 數(shù)據(jù)處理 …………………………………………………………… 187
10.5.4 數(shù)據(jù)輸出 …………………………………………………………… 188
10.6 MapReduce實(shí)例分析 ………………………………………………………… 189
10.6.1 WordCountMapReduce設(shè)計(jì) …………………………………… 190
10.6.2 WordCount編程實(shí)現(xiàn) ……………………………………………… 191
習(xí)題 …………………………………………………………………………………… 194
第11章 大數(shù)據(jù)Spark計(jì)算模型 ………………………………………………………… 195
11.1 Spark概述 …………………………………………………………………… 195
11.1.1 Spark產(chǎn)生 ………………………………………………………… 195
11.1.2 Spark的相關(guān)概念及其組件 ……………………………………… 197
11.1.3 Spark特性 ………………………………………………………… 199
11.2 Spark工作原理 ……………………………………………………………… 200
11.2.1 RDD 原理 …………………………………………………………… 200
11.2.2 Spark工作流程 …………………………………………………… 202
11.2.3 Spark集群架構(gòu)及運(yùn)行模式 ……………………………………… 204
??
11.2.4 SparkStreaming工作原理………………………………………… 209
11.3 Spark訪問接口 ……………………………………………………………… 210
11.3.1 Spark訪問接口概述 ……………………………………………… 210
11.3.2 SparkContext訪問接口 …………………………………………… 210
11.3.3 RDD 訪問接口……………………………………………………… 211
11.4 Spark實(shí)例分析 ……………………………………………………………… 212
11.4.1 SparkShellWordCount編程實(shí)現(xiàn)………………………………… 212
11.4.2 Scala WordCount編程實(shí)現(xiàn) ……………………………………… 213
11.4.3 Java WordCount編程實(shí)現(xiàn) ………………………………………… 214
習(xí)題 …………………………………………………………………………………… 216
第12章 大數(shù)據(jù)Flink計(jì)算模型 ………………………………………………………… 217
12.1 Flink概述 …………………………………………………………………… 217
12.1.1 Flink簡介 ………………………………………………………… 217
12.1.2 Flink的由來 ……………………………………………………… 217
12.1.3 Flink流處理 ……………………………………………………… 217
12.1.4 Flink的核心特性 ………………………………………………… 219
12.2 Flink工作原理 ……………………………………………………………… 219
12.2.1 Flink的計(jì)算框架 ………………………………………………… 219
12.2.2 Flink的體系結(jié)構(gòu) ………………………………………………… 220
12.2.3 Flink的運(yùn)行架構(gòu) ………………………………………………… 221
12.3 Flink編程接口 ……………………………………………………………… 221
12.3.1 Flink的編程模型 ………………………………………………… 221
12.3.2 Flink的編程結(jié)構(gòu) ………………………………………………… 222
12.4 Flink實(shí)例分析 ……………………………………………………………… 223
12.4.1 Scala WordCount編程實(shí)現(xiàn) ……………………………………… 223
12.4.2 Java WordCount編程實(shí)現(xiàn) ………………………………………… 223 習(xí)題 …………………………………………………………………………………… 225
第13章 大數(shù)據(jù)MapReduce基礎(chǔ)算法 …………………………………………………… 226
13.1 關(guān)系代數(shù)運(yùn)算 ………………………………………………………………… 226
13.1.1 關(guān)系代數(shù)運(yùn)算規(guī)則 ………………………………………………… 226
13.1.2 關(guān)系代數(shù)運(yùn)算的 MapReduce設(shè)計(jì)與實(shí)現(xiàn)………………………… 228
13.2 矩陣乘法 ……………………………………………………………………… 233
13.2.1 矩陣乘法原理 ……………………………………………………… 233
13.2.2 矩陣乘法 MapReduce設(shè)計(jì) ………………………………………… 233
13.2.3 矩陣乘法 MapReduce實(shí)現(xiàn) ………………………………………… 234 習(xí)題 …………………………………………………………………………………… 236
??
第14章 大數(shù)據(jù)挖掘算法 ………………………………………………………………… 237
14.1 大數(shù)據(jù)關(guān)聯(lián)分析算法 ………………………………………………………… 237
14.1.1 Apriori算法簡介 …………………………………………………… 238
14.1.2 Apriori算法 MapReduce設(shè)計(jì) …………………………………… 238
14.1.3 Apriori算法 MapReduce實(shí)現(xiàn) …………………………………… 239
14.2 大數(shù)據(jù) KNN 分類算法 ……………………………………………………… 245
14.2.1 KNN 分類算法簡介 ……………………………………………… 245
14.2.2 KNN 算法 MapReduce設(shè)計(jì) ……………………………………… 246
14.2.3 KNN 算法 MapReduce實(shí)現(xiàn) ……………………………………… 246
14.3 大數(shù)據(jù) K-Means聚類算法 …………………………………………………… 249
14.3.1 K-Means聚類算法簡介 …………………………………………… 249
14.3.2 基于 MapReduce的 K-Means算法的設(shè)計(jì) ……………………… 251
14.3.3 基于 MapReduce的 K-Means算法的實(shí)現(xiàn) ……………………… 251
14.4 大數(shù)據(jù)回歸分析算法 ………………………………………………………… 258
14.4.1 大數(shù)據(jù)回歸分析算法簡介 ………………………………………… 258
14.4.2 基于 MapReduce的多元回歸分析算法設(shè)計(jì)……………………… 259
14.4.3 基于 MapReduce的多元回歸分析算法的實(shí)現(xiàn)…………………… 259 習(xí)題 …………………………………………………………………………………… 263
第5篇 大數(shù)據(jù)平臺Hadoop實(shí)踐與應(yīng)用案例
第15章 Hadoop大數(shù)據(jù)平臺實(shí)踐………………………………………………………… 267
15.1 Hadoop系統(tǒng)的安裝與配置 ………………………………………………… 267
15.1.1 安裝前的準(zhǔn)備工作 ………………………………………………… 268
15.1.2 Linux虛擬機(jī)的安裝 ……………………………………………… 268
15.1.3 安裝和配置JDK …………………………………………………… 275
15.1.4 下載安裝 Hadoop ………………………………………………… 276
15.1.5 SSH 免密登錄 ……………………………………………………… 278
15.1.6 虛擬機(jī)克隆 ………………………………………………………… 279
15.1.7 Hadoop運(yùn)行 ……………………………………………………… 279
15.1.8 查看集群狀態(tài) ……………………………………………………… 280
15.2 Hadoop平臺基本操作 ……………………………………………………… 280
15.2.1 Hadoop啟動(dòng)與關(guān)閉命令 ………………………………………… 280
15.2.2 Hadoop文件操作 ………………………………………………… 281
15.2.3 Hadoop程序運(yùn)行命令 …………………………………………… 282
15.3 Hadoop平臺程序開發(fā)過程 ………………………………………………… 282
15.3.1 開發(fā)環(huán)境配置 ……………………………………………………… 282
??
15.3.2 程序開發(fā)流程 ……………………………………………………… 285
習(xí)題 …………………………………………………………………………………… 288
第16章 開敞式碼頭系泊纜力預(yù)測應(yīng)用案例 …………………………………………… 289
16.1 開敞式碼頭系泊纜力預(yù)測背景描述 ………………………………………… 289
16.1.1 開敞式碼頭系泊作業(yè)背景描述 …………………………………… 289
16.1.2 開敞式碼頭系泊纜力預(yù)測背景 …………………………………… 289
16.2 大數(shù)據(jù)系泊纜力相似性查詢預(yù)測方法 ……………………………………… 290
16.2.1 模糊相似性查詢基本方法 ………………………………………… 290
16.2.2 系泊纜力相似性查詢預(yù)測模型 …………………………………… 291
16.3 相似性查詢預(yù)測方法 MapReduce設(shè)計(jì)……………………………………… 293
16.3.1 相似性查詢預(yù)測方法 Map設(shè)計(jì)…………………………………… 293
16.3.2 相似性查詢預(yù)測方法 Reduce設(shè)計(jì) ……………………………… 293
16.4 相似性查詢預(yù)測方法 MapReduce實(shí)現(xiàn)……………………………………… 294
16.4.1 系泊纜力預(yù)測結(jié)果展示 …………………………………………… 295
16.4.2 系泊纜力預(yù)測結(jié)果分析 …………………………………………… 295
第17章 曙光XData大數(shù)據(jù)平臺及應(yīng)用案例 …………………………………………… 297
17.1 曙光 XData大數(shù)據(jù)平臺簡介 ………………………………………………… 297
17.1.1 曙光 XData大數(shù)據(jù)平臺概述 ……………………………………… 297
17.1.2 曙光 XData大數(shù)據(jù)平臺特點(diǎn)及應(yīng)用 ……………………………… 298
17.2 曙光大數(shù)據(jù)平臺架構(gòu)及關(guān)鍵技術(shù) …………………………………………… 298
17.2.1 曙光 XData大數(shù)據(jù)平臺架構(gòu) ……………………………………… 298
17.2.2 曙光 XData大數(shù)據(jù)平臺關(guān)鍵技術(shù) ………………………………… 299
17.3 曙光 XData大數(shù)據(jù)平臺組件 ………………………………………………… 301
17.3.1 曙光 XData大數(shù)據(jù)集成與數(shù)據(jù)治理組件 ………………………… 301
17.3.2 曙光 XData大數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)計(jì)算組件 ………………………… 302
17.3.3 曙光 XData大數(shù)據(jù)分析與數(shù)據(jù)智能組件 ………………………… 302
17.3.4 曙光 XData大數(shù)據(jù)可視化分析組件 ……………………………… 303
17.3.5 曙光 XData大數(shù)據(jù)安全管控與管理運(yùn)維組件 …………………… 304
17.4 曙光 XData大數(shù)據(jù)平臺操作實(shí)踐 …………………………………………… 305
17.4.1 曙光 XData大數(shù)據(jù)平臺安裝與配置概述 ………………………… 305
17.4.2 曙光 XData大數(shù)據(jù)平臺基本操作 ………………………………… 306
17.5 基于曙光 XData大數(shù)據(jù)平臺的智能交通應(yīng)用案例 ………………………… 309
17.5.1 曙光 XData智能交通應(yīng)用項(xiàng)目背景 ……………………………… 309
17.5.2 曙光 XData智能交通應(yīng)用方案設(shè)計(jì) ……………………………… 310
17.5.3 曙光 XData智能交通功能實(shí)現(xiàn)及應(yīng)用效果 ……………………… 311
參考文獻(xiàn)……………………………………………………………………………………… 314
展開全部
書友推薦
- >
自卑與超越
- >
我從未如此眷戀人間
- >
龍榆生：詞曲概論/大家小書
- >
羅曼·羅蘭讀書隨筆-精裝
- >
中國歷史的瞬間
- >
名家?guī)阕x魯迅:故事新編
- >
唐代進(jìn)士錄
- >
回憶愛瑪儂
本類暢銷
