中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
闖進數學世界――探秘歷史名題
-
>
中醫基礎理論
-
>
當代中國政府與政治(新編21世紀公共管理系列教材)
-
>
高校軍事課教程
-
>
思想道德與法治(2021年版)
-
>
毛澤東思想和中國特色社會主義理論體系概論(2021年版)
-
>
中醫內科學·全國中醫藥行業高等教育“十四五”規劃教材
大數據技術 版權信息
- ISBN：9787560655130
- 條形碼：9787560655130 ; 978-7-5606-5513-0
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
大數據技術 本書特色
本書從系統支撐下的大數據分析角度入手，介紹了不同的大數據處理模式與代表性的處理系統，并對深度學習、知識計算等重要的大數據分析技術介紹。*后給出大數據處理和分析的典型技術Hadoop的技術及其應用。
大數據技術 內容簡介
本書從大數據分析角度入手， 首先介紹了不同的大數據處理模式與代表性的處理系統， 其次對大數據分析所應用的數據挖掘、 機器學習的理論工具給予了介紹， *后詳細介紹了典型的大數據技術IBM InfoSphere BigInsights。 本書由3篇共25章組成。 第1篇大數據系統基礎， 由第1章概述和第2章大數據基礎組成。 第2篇大數據分析理論基礎， 由第3章到第10章組成， 主要介紹了一些概率與統計方面的基礎知識、 數據挖掘的基本技術以及機器學習的常用概率化工具。 第3篇大數據技術， 由第11章到第25章組成， 全面介紹了IBM InfoSphere BigInsights各個組件和基本應用。 本書可作為高等學校大數據專業方向以及計算機科學技術、 軟件工程、 物聯網工程等信息科學技術類專業的本科教材， 也可作為相關專業的技術人員的參考資料。
大數據技術 目錄
第1篇 大數據系統基礎
第1章 概述 2
1.1 大數據發展現狀與歷史 2
1.1.1 國外發展現狀 2
1.1.2 國內發展現狀 3
1.1.3 大數據發展歷史 4
1.2 大數據定義 5
1.3 大數據應用 6
1.4 大數據挑戰 7
1.5 大數據機器學習 9
1.5.1 數據流學習 9
1.5.2 深度學習 9
1.5.3 增量學習和集成學習 10
1.5.4 粒度計算 11
1.6 大數據與Hadoop生態系統 11
1.6.1 數據存儲層——HDFS和HBase 12
1.6.2 數據處理層 13
1.6.3 數據查詢層——Pig、 JAQL和Hive 14
1.6.4 數據訪問層——數據提取(Sqoop、 Flume和Chukwa) 15
1.6.5 數據流——Storm和Spark 17
1.6.6 存儲管理——HCatalog 18
1.6.7 數據分析 19
1.6.8 管理層——協同與工作流(ZooKeeper、 Avro和Oozie) 20
1.6.9 管理層——系統部署(Ambari、 Whirr、 BigTop和Hue) 21
1.7 Hadoop的發行版本 22
1.7.1 IBM InfoSphere BigInsights 22
1.7.2 Cloudera 22
1.7.3 Hortonworks數據平臺 23
1.7.4 Amazon Elastic MapReduce 23
1.7.5 MapR 24
1.7.6 GreenPlum's Pivotal HD 24
1.7.7 Oracle大數據設備 24
1.7.8 Windows Azure HDInsight 24
小結 25
思考與練習題 25
第2章 大數據基礎 26
2.1 大數據架構的演進及其層次 26
2.2 數據生成 27
2.2.1 數據源 28
2.2.2 數據屬性 29
2.3 大數據類型概述 29
2.3.1 大數據類型 29
2.3.2 非結構化數據典型例子 30
2.4 數據獲取 30
2.4.1 數據采集與數據傳輸 31
2.4.2 數據預處理 33
2.5 數據存儲 34
2.5.1 云計算 34
2.5.2 數據管理框架 35
2.6 數據分析 38
2.6.1 數據分析的目的和分類 38
2.6.2 常用的數據分析方法 39
2.7 大數據分析 40
2.7.1 結構化數據分析 40
2.7.2 文本分析 40
2.7.3 Web數據分析 41
2.7.4 多媒體數據分析 42
2.7.5 社交網絡數據分析 42
2.7.6 移動數據分析 44
2.7.7 移動商業智能 44
小結 45
思考與練習題 45
第2篇 大數據分析理論基礎
第3章 概率與統計概要 48
3.1 概率論簡介 48
3.1.1 離散隨機變量 48
3.1.2 基本規則 48
3.1.3 貝葉斯法則 49
3.1.4 獨立和條件獨立 50
3.1.5 連續隨機變量 50
3.1.6 分位數 51
3.1.7 均值與方差 51
3.2 常用的離散分布 52
3.2.1 二項式分布與伯努利分布 52
3.2.2 多項式分布與Multinoulli分布 52
3.2.3 泊松分布 53
3.2.4 經驗分布 53
3.3 常見的連續分布 54
3.3.1 高斯(正態)分布 54
3.3.2 退化概率密度函數 54
3.3.3 拉普拉斯分布 55
3.3.4 伽馬分布 55
3.3.5 貝塔分布 56
3.3.6 帕累托分布 56
3.4 聯合概率分布 57
3.4.1 協方差與相關 57
3.4.2 多變量高斯分布 58
3.4.3 多變量的t分布 58
3.4.4 狄利克雷分布 58
3.5 隨機變量的變換 59
3.5.1 線性變換 59
3.5.2 通用變換 59
3.5.3 中心極限定理 61
3.6 蒙特卡洛逼近 61
3.6.1 MC方法 62
3.6.2 圓周率的蒙特卡洛積分估計 62
3.6.3 蒙特卡洛逼近的精度 62
小結 63
思考與練習題 63
第4章 數據挖掘基礎 66
4.1 數據挖掘的基本概念 66
4.1.1 數據挖掘的含義 66
4.1.2 數據挖掘對象 67
4.1.3 數據挖掘系統的體系結構 68
4.2 數據挖掘的功能與方法 69
4.2.1 數據挖掘的功能 69
4.2.2 數據挖掘的過程 72
4.3 決策樹 74
4.3.1 基本概念 74
4.3.2 決策樹的算法與工作流程 75
4.4 分類挖掘 76
4.4.1 貝葉斯分類與樸素貝葉斯分類 76
4.4.2 k近鄰方法 77
小結 78
思考與練習題 78
第5章 關聯挖掘與聚類 79
5.1 關聯挖掘 79
5.1.1 基本概念 79
5.1.2 關聯挖掘問題、 類型與基本方法 80
5.2 聚類 81
5.2.1 聚類的基本概念 81
5.2.2 基于劃分的聚類 85
5.2.3 基于層次的聚類 86
小結 87
思考與練習題 88
第6章 離散數據的生成模型 89
6.1 貝塔二項式模型 89
6.1.1 似然度 89
6.1.2 先驗分布 89
6.1.3 后驗分布 90
6.1.4 后驗預測分布 91
6.2 狄利克雷多項式模型 91
6.2.1 似然度 91
6.2.2 先驗分布 92
6.2.3 后驗分布 92
6.2.4 后驗預測分布 93
6.3 樸素貝葉斯分類器 93
6.3.1 模型擬合 93
6.3.2 預測模型的應用 94
小結 95
思考與練習題 95
第7章 高斯模型 97
7.1 高斯模型基礎 97
7.2 高斯判決分析 99
7.3 聯合高斯分布的推理 103
7.4 線性高斯系統 107
7.5 MVN的參數推斷 110
7.5.1 μ的后驗分布 110
7.5.2 Σ的后驗分布 111
7.5.3 μ與Σ的后驗分布 112
小結 116
思考與練習題 116
第8章 線性回歸 119
8.1 規范模型 119
8.2 *大似然估計(*小平方) 119
8.3 魯棒線性回歸 121
8.4 嶺回歸 123
8.5 貝葉斯線性回歸 125
8.5.1 后驗分布計算 125
8.5.2 后驗預測計算 126
8.5.3 σ2未知時的貝葉斯推理 126
小結 128
思考與練習題 128
第9章 邏輯回歸 132
9.1 規范模型 132
9.2 模型擬合 132
9.2.1 MLE 133
9.2.2 *速下降 133
9.2.3 牛頓法 135
9.2.4 迭代加權*小二乘法(IRLS) 135
9.2.5 擬牛頓法(變尺度法) 136
9.2.6 正則化 137
9.2.7 多類邏輯回歸 137
9.3 貝葉斯邏輯回歸 139
9.3.1 拉普拉斯逼近 139
9.3.2 BIC推導 140
9.3.3 邏輯回歸的高斯逼近 140
9.3.4 后驗預測逼近 141
9.3.5 殘差分析(異常值檢測) 144
9.4 在線學習與隨機優化 144
9.4.1 在線學習與遺憾*小化 145
9.4.2 隨機優化與風險*小化 145
9.4.3 LMS算法 147
9.4.4 感知算法 147
9.4.5 貝葉斯觀點 148
小結 148
思考與練習題 149
第10章 廣義線性模型與指數函數簇 151
10.1 指數函數簇 151
10.1.1 定義 151
10.1.2 對數配分函數 153
10.1.3 指數函數簇的MLE 154
10.1.4 指數函數簇的貝葉斯分析 155
10.1.5 指數函數簇的*大熵推導 157
10.2 廣義線性模型(GLMs) 158
10.2.1 基礎知識 158
10.2.2 ML和MAP估計 160
10.3 概率回歸 160
10.4 排序學習 162
10.4.1 逐點的方法 163
10.4.2 成對法 163
10.4.3 成列法 164
10.4.4 排序的損失函數 165
10.5 主成分分析(PCA)與奇異值分解 166
10.5.1 主成分分析 166
10.5.2 奇異值分解 169
小結 170
思考與練習 171
第3篇 大數據技術
第11章 Hadoop基礎 174
11.1 大數據與Hadoop 174
11.2 Hadoop框架的主要組件 175
11.3 用Hadoop分析大數據 176
11.4 Hadoop分布式文件系統與集群 179
11.4.1 HDFS 179
11.4.2 Hadoop集群 180
11.5 通用并行文件系統(IBM GPFS) 181
11.6 MapReduce引擎——JobTracker與TaskTracker 182
11.7 Hadoop的云端托管 183
11.8 Hadoop的工作階段與安裝部署 184
11.8.1 工作階段 184
11.8.2 安裝部署 184
11.8.3 常用模式安裝 186
小結 192
思考與練習題 193
第12章 IBM InfoSphere BigInsights 194
12.1 IBM InfoSphere BigInsights簡介與環境 194
12.1.1 幾個角色 194
12.1.2 參考架構 196
12.2 生產環境的硬件規格及加速器 200
12.2.1 硬件要求 200
12.2.2 IBM大數據加速器 200
12.3 管理大數據環境——概述與入門練習 202
小結 212
思考與練習題 213
第13章 Hadoop分布式文件系統 214
13.1 Hadoop分布式文件系統(HDFS)基本知識及架構 214
13.1.1 NameNode 215
13.1.2 DataNode與輔助NameNode 215
13.1.3 JobTracker與TaskTracker 217
13.2 其他文件系統與Hadoop的文件塊 217
13.3 HDFS文件命令 218
13.4 Hadoop分布式文件系統的基本操作 222
13.4.1 初步操作 222
13.4.2 Hadoop分布式文件系統的終端操作與行命令界面 224
13.4.3 Hadoop分布式文件系統的Web控制臺操作 230
小結 235
思考與練習題 235
第14章 NoSQL數據管理與MongoDB 236
14.1 NoSQL數據管理 236
14.1.1 文檔模型 236
14.1.2 鍵/值模型 238
14.1.3 列或寬列模型 238
14.1.4 圖存儲模型 239
14.2 一致性或*終一致性與NoSQL的優點 240
14.3 MongoDB 242
14.3.1 MongoDB的基本概念 242
14.3.2 MongoDB的一致性和可用性 245
14.4 在Windows上安裝MongoDB 246
14.5 管道與MongoDB常用操作 247
14.5.1 MongoDB中的管道 247
14.5.2 副本在MongoDB中的工作 248
14.5.3 分拆 249
14.5.4 分拆轉儲MongoDB數據 250
小結 251
思考與練習題 252
第15章 HBase與Cassandra 253
15.1 HDFS與HBase 253
15.1.1 HBase簡介 253
15.1.2 HDFS與HBase的比較 254
15.1.3 HBase架構 254
15.1.4 HBase數據模型 255
15.1.5 HBase映射 256
15.2 Cassandra 259
15.2.1 Cassandra概要 259
15.2.2 Cassandra中的數據復制與組件 260
15.2.3 Cassandra查詢語言與數據模型 261
15.3 Cassandra安裝與操作 263
15.3.1 Cassandra預安裝設置 263
15.3.2 cqlsh啟動與命令 267
15.3.3 Cassandra文檔化Shell命令 269
小結 279
思考與練習題 280
第16章 MapReduce 281
16.1 MapReduce概要 281
16.2 MapReduce基本工作原理及應用 282
16.2.1 基本工作原理 282
16.2.2 MapReduce編程示例——電影推薦 284
16.2.3 MapReduce中JobTracker的運用 285
16.3 運行MapReduce程序 286
16.3.1 啟動FuleSystem(fs) Shell 286
16.3.2 在終端運行MapReduce程序 287
16.3.3 在Web控制臺上運行MapReduce程序 292
16.3.4 MapReduce的用戶界面 295
小結 297
思考與練習題 297
第17章 JAQL——基于JSON的查詢語言 298
17.1 概述 298
17.2 用JAQL訪問JSON的數組和記錄 299
17.2.1 設置與運行JAQL 299
17.2.2 JAQL的常見用法和語法 302
17.2.3 JAQL的輸入/輸出 305
17.2.4 常見的JAQL基本應用 306
實驗一 核心運算符的操作 324
實驗二 核心運算符的應用 325
小結 325
思考與練習題 336
第18章 Hive——Hadoop數據倉庫 327
18.1 概述 327
18.2 Hive構件及數據文件格式 330
18.2.1 Hive構件 330
18.2.2 Hive數據文件格式 331
18.3 用Hive訪問Hadoop數據 332
18.3.1 訪問Hive BeeLine 命令行界面(CLI) 333
18.3.2 使用Hive中的數據庫 333
18.4 Hive中的表 339
18.5 Hive運算符和函數 342
18.6 Hive DML 344
18.6.1 裝載數據 345
18.6.2 運行查詢 347
18.6.3 導出數據 352
18.6.4 EXPLAIN 354
18.7 使用Hive數據倉庫 354
18.7.1 Hive存儲格式 354
18.7.2 HiveQL——數據操作 362
18.7.3 查詢 365
18.7.4 Hive的內置函數 369
小結 370
思考與練習題 371
第19章 Pig——高級編程環境 372
19.1 概述 372
19.2 Pig編程語言 374
19.2.1 Pig編程步驟 374
19.2.2 Pig Latin 374
19.2.3 特殊數據類型 375
19.2.4 數據類型 377
19.3 Pig基本應用的驗證與練習 379
19.4 Pig關系運算符的驗證 384
19.5 Pig評估函數的驗證 386
19.6 Pig中的腳本格式與本地模式中的Pig 390
19.6.1 腳本格式 390
19.6.2 本地模式 391
19.6.3 Grunt Shell命令 394
19.6.4 Grunt Shell實用命令 394
小結 397
思考與練習題 398
第20章 BigSheets 399
20.1 創建InfoSphere BigInsights項目 400
20.2 通過創建子工作簿來裁剪數據 400
20.3 從兩個工作簿中組合數據 402
20.4 通過分組數據創建列 403
20.5 在BigSheets圖中查看數據 404
20.6 在圖表中可視化結果和優化結果 404
20.7 從工作簿中導出數據 406
小結 407
思考與練習題 408
第21章 Big SQL——IBM NoSQL 409
21.1 概述 409
21.2 Big SQL的基本應用 411
21.2.1 啟動VMware鏡像 411
21.2.2 連接IBM Big SQL服務器 413
21.2.3 使用Big SQL命令行界面(JSqsh) 415
21.2.4 發送JSqsh命令以及進行Big SQL查詢 423
21.3 使用Eclipse處理Big SQL 428
21.3.1 啟動Web控制臺驗證BigInsights服務的開啟和運行 429
21.3.2 在Eclipse中創建一個Big SQL連接 230
21.4 創建項目和SQL腳本文件 435
21.5 創建并執行查詢 438
21.6 查詢Big SQL的結構化數據 439
21.7 查詢Big SQL的數據與從BigSheets導出的數據 446
21.7.1 查詢Big SQL的數據 446
21.7.2 用Big SQL處理從BigSheets導出的數據 448
21.8 處理非傳統數據 449
21.8.1 注冊SerDe 450
21.8.2 創建、 填充以及查詢使用SerDe的表 450
小結 451
思考與練習題 452
第22章 Sqoop——從異構數據源導入數據 453
22.1 概述 453
22.2 導入表 455
22.3 導出 461
22.4 創建并維護Sqoop作業 462
22.5 Sqoop——Codegen工具 464
22.6 Sqoop——eval 465
22.7 Sqoop——數據庫清單 466
22.8 Sqoop——表清單 467
小結 467
思考與練習題 467
第23章 Flume——大數據實時流 469
23.1 概述 469
23.2 Apache Flume的流與源 470
23.2.1 Flume中的數據流 471
23.2.2 流/日志數據 471
23.3 Flume的基本架構與代理的其他組件 472
23.3.1 Flume的基本架構 472
23.3.2 Flume代理的其他組件 473
23.4 Apache Flume的環境 474
23.4.1 命名組件 474
23.4.2 Source、 Sink和Channel的描述 475
23.5 HDFS的put命令及其HDFS存在的問題 476
23.5.1 put命令 476
23.5.2 HDFS具有的問題 477
實驗 使用Flume將數據移動到HDFS中 477
小結 481
思考與練習題 482
第24章 R編程——可視化與圖形工具 483
24.1 概述 483
24.2 R語言入門 483
24.2.1 在Windows系統中安裝R語言 483
24.2.2 使用R語言進行數據圖表繪制 488
小結 497
思考與練習題 498
第25章 Hadoop的其他組件——Oozie、 ZooKeeper和Mahout 499
25.1 Hadoop工作流調度程序Oozie簡介 499
25.2 ZooKeeper——跨集群的同步化 500
25.2.1 Apache ZooKeeper簡介 500
25.2.2 ZooKeeper在Hadoop中的地位 501
25.2.3 分布式應用程序的挑戰 501
25.2.4 ZooKeeper的工作 502
25.2.5 ZooKeeper的益處與架構 502
25.2.6 分層命名空間 504
25.2.7 znode的類型、 會話與Watches(手表) 505
25.3 Mahout——Hadoop的機器學習 505
25.3.1 Apache Mahout簡介 505
25.3.2 Mahout的特點 506
25.3.3 Mahout的應用 507
25.3.4 Mahout中的機器學習 507
小結 511
思考與練習題 512
參考文獻 513
展開全部
書友推薦
- >
我從未如此眷戀人間
- >
經典常談
- >
小考拉的故事-套裝共3冊
- >
人文閱讀與收藏·良友文學叢書:一天的工作
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
二體千字文
- >
羅曼·羅蘭讀書隨筆-精裝
- >
李白與唐代文化
本類暢銷
