中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
數據算法-Hadoop/Spark大數據處理技術 版權信息
- ISBN：9787512395947
- 條形碼：9787512395947 ; 978-7-5123-9594-7
- 裝幀：暫無
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
數據算法-Hadoop/Spark大數據處理技術 本書特色
本書介紹了很多基本設計模式、優化技術和數據挖掘及機器學習解決方案，以解決生物信息學、基因組學、統計和社交網絡分析等領域的很多問題。這本書還概要介紹了MapReduce、Hadoop和Spark。
本書主要內容包括：
■ 完成超大量交易的購物籃分析。
■ 數據挖掘算法（K-均值、KNN和樸素貝葉斯）。
■ 使用超大基因組數據完成DNA和RNA測序。
■ 樸素貝葉斯定理和馬爾可夫鏈實現數據和市場預測。
■ 推薦算法和成對文檔相似性。
■ 線性回歸、Cox回歸和皮爾遜（Pearson）相關分析。本書介紹了很多基本設計模式、優化技術和數據挖掘及機器學習解決方案，以解決生物信息學、基因組學、統計和社交網絡分析等領域的很多問題。這本書還概要介紹了MapReduce、Hadoop和Spark。
本書主要內容包括：
■ 完成超大量交易的購物籃分析。
■ 數據挖掘算法（K-均值、KNN和樸素貝葉斯）。
■ 使用超大基因組數據完成DNA和RNA測序。
■ 樸素貝葉斯定理和馬爾可夫鏈實現數據和市場預測。
■ 推薦算法和成對文檔相似性。
■ 線性回歸、Cox回歸和皮爾遜（Pearson）相關分析。
■ 等位基因頻率和DNA挖掘。
■ 社交網絡分析（推薦系統、三角形計數和情感分析）。信息
數據算法-Hadoop/Spark大數據處理技術 內容簡介
如果你準備深入研究MapReduce框架來處理大數據集，這本書非常實用，通過提供豐富的算法和工具，它會循序漸進地帶你探索MapReduce世界，用Apache Hadoop或Apache Spark構建分布式MapReduce應用時通常都需要用到這些算法和工具。每一章分別提供一個實例來解決一個大規模計算問題，如構建推薦系統。你會了解如何用代碼實現適當的MapReduce解決方案，而且可以在你的項目中具體應用這些解決方案。
數據算法-Hadoop/Spark大數據處理技術 目錄
序 1
前言 3
第1章二次排序：簡介 19
二次排序問題解決方案 21
MapReduce/Hadoop的二次排序解決方案 25
Spark的二次排序解決方案 29
第2章二次排序：詳細示例 42
二次排序技術 43
二次排序的完整示例 46
運行示例——老版本Hadoop API 50
運行示例——新版本Hadoop API 52
第3章 Top 10 列表 54
Top N 設計模式的形式化描述 55
MapReduce/Hadoop實現：唯一鍵 56序 1
前言 3
第1章二次排序：簡介 19
二次排序問題解決方案 21
MapReduce/Hadoop的二次排序解決方案 25
Spark的二次排序解決方案 29
第2章二次排序：詳細示例 42
二次排序技術 43
二次排序的完整示例 46
運行示例——老版本Hadoop API 50
運行示例——新版本Hadoop API 52
第3章 Top 10 列表 54
Top N 設計模式的形式化描述 55
MapReduce/Hadoop實現：唯一鍵 56
Spark實現：唯一鍵 62
Spark實現：非唯一鍵 73
使用takeOrdered()的Spark Top 10 解決方案 84
MapReduce/Hadoop Top 10 解決方案：非唯一鍵 91
第4章左外連接 96
左外連接示例 96
MapReduce左外連接實現 99
Spark左外連接實現 105
使用leftOuterJoin()的Spark實現 117
第5章反轉排序 127
反轉排序模式示例 128
反轉排序模式的MapReduce/Hadoop實現 129
運行示例 134
第6章移動平均 137
示例1：時間序列數據（股票價格） 137
示例2：時間序列數據（URL訪問數） 138
形式定義 139
POJO移動平均解決方案 140
MapReduce/Hadoop移動平均解決方案 143
第7章購物籃分析 155
MBA目標 155
MBA的應用領域 157
使用MapReduce的購物籃分析 157
Spark解決方案 166
運行Spark實現的YARN 腳本 179
第8章共同好友 182
輸入 183
POJO共同好友解決方案 183
MapReduce算法 184
解決方案1: 使用文本的Hadoop實現 187
解決方案2: 使用ArrayListOfLongsWritable 的Hadoop實現 189
Spark解決方案 191
第9章使用MapReduce實現推薦引擎 201
購買過該商品的顧客還購買了哪些商品 202
經常一起購買的商品 206
推薦連接 210
第10章基于內容的電影推薦 225
輸入 226
MapReduce階段1 226
MapReduce階段2和階段3 227
Spark電影推薦實現 234
第11章使用馬爾可夫模型的智能郵件營銷 .253
馬爾可夫鏈基本原理 254
使用MapReduce的馬爾可夫模型 256
Spark解決方案 269
第12章 K-均值聚類 282
什么是K-均值聚類? 285
聚類的應用領域 285
K-均值聚類方法非形式化描述：分區方法 286
K-均值距離函數 286
K-均值聚類形式化描述 287
K-均值聚類的MapReduce解決方案 288
K-均值算法Spark實現 292
第13章 k-近鄰 296
kNN分類 297
距離函數 297
kNN示例 298
kNN算法非形式化描述 299
kNN算法形式化描述 299
kNN的類Java非MapReduce 解決方案 299
Spark的kNN算法實現 301
第14章樸素貝葉斯 315
訓練和學習示例 316
條件概率 319
深入分析樸素貝葉斯分類器 319
樸素貝葉斯分類器：符號數據的MapReduce解決方案 322
樸素貝葉斯分類器Spark實現 332
使用Spark和Mahout 347
第15章情感分析 349
情感示例 350
情感分數：正面或負面 350
一個簡單的MapReduce情感分析示例 351
真實世界的情感分析 353
第16章查找、統計和列出大圖中的所有三角形 354
基本的圖概念 355
三角形計數的重要性 356
MapReduce/Hadoop解決方案 357
Spark解決方案 364
第17章 K-mer計數 375
K-mer計數的輸入數據 376
K-mer計數應用 376
K-mer計數MapReduce/Hadoop解決方案 377
K-mer計數Spark解決方案 378
第18章 DNA測序 390
DNA測序的輸入數據 392
輸入數據驗證 393
DNA序列比對 393
DNA測試的MapReduce算法 394
第19章 Cox回歸 413
Cox模型剖析 414
使用R的Cox回歸 415
Cox回歸應用 416
Cox回歸 POJO解決方案 417
MapReduce輸入 418
使用MapReduce的Cox回歸 419
第20章 Cochran-Armitage趨勢檢驗 426
Cochran-Armitage算法 427
Cochran-Armitage應用 432
MapReduce解決方案 435
第21章等位基因頻率 443
基本定義 444
形式化問題描述 448
等位基因頻率分析的MapReduce解決方案 449
MapReduce解決方案, 階段1 449
MapReduce解決方案，階段2 459
MapReduce解決方案, 階段3 463
染色體X 和Y的特殊處理 466
第22章 T檢驗 468
對bioset完成T檢驗 469
MapReduce問題描述 472
輸入 472
期望輸出 473
MapReduce解決方案 473
Spark實現 476
第23章皮爾遜相關系數 488
皮爾遜相關系數公式 489
皮爾遜相關系數示例 491
皮爾遜相關系數數據集 492
皮爾遜相關系數POJO 解決方案 492
皮爾遜相關系數MapReduce解決方案 493
皮爾遜相關系數的Spark 解決方案 496
運行Spark程序的YARN 腳本 516
使用Spark計算斯皮爾曼相關系數 517
第24章 DNA堿基計數 520
FASTA 格式 521
FASTQ 格式 522
MapReduce解決方案：FASTA 格式 522
運行示例 524
MapReduce解決方案: FASTQ 格式 528
Spark 解決方案: FASTA 格式 533
Spark解決方案: FASTQ 格式 537
第25章 RNA測序 543
數據大小和格式 543
MapReduce工作流 544
RNA測序分析概述 544
RNA測序MapReduce算法 548
第26章基因聚合 553
輸入 554
輸出 554
MapReduce解決方案（按單個值過濾和按平均值過濾） 555
基因聚合的Spark解決方案 567
Spark解決方案：按單個值過濾 567
Spark解決方案：按平均值過濾 576
第27章線性回歸 586
基本定義 587
簡單示例 587
問題描述 588
輸入數據 589
期望輸出 590
使用SimpleRegression的MapReduce解決方案 590
Hadoop實現類 593
使用R線性模型的MapReduce解決方案 593
第28章 MapReduce和幺半群 600
概述 600
幺半群的定義 602
幺半群和非幺半群示例 603
MapReduce示例：非幺半群 606
MapReduce示例：幺半群 608
使用幺半群的Spark示例 612
使用幺半群的結論 618
函子和幺半群 619
第29章小文件問題 622
解決方案1：在客戶端合并小文件 623
解決方案2：用CombineFileInputFormat解決小文件問題 629
其他解決方案 634
第30章 MapReduce的大容量緩存 635
實現方案 636
緩存問題形式化描述 637
一個精巧、可伸縮的解決方案 637
實現LRUMap緩存 640
使用LRUMap的MapReduce解決方案 646
第31章 Bloom過濾器 651Bloom
過濾器性質 651
一個簡單的Bloom過濾器示例 653信息
前言 3
第1章二次排序：簡介 19
二次排序問題解決方案 21
MapReduce/Hadoop的二次排序解決方案 25
Spark的二次排序解決方案 29
第2章二次排序：詳細示例 42
二次排序技術 43
二次排序的完整示例 46
運行示例——老版本Hadoop API 50
運行示例——新版本Hadoop API 52
第3章 Top 10 列表 54
Top N 設計模式的形式化描述 55
MapReduce/Hadoop實現：唯一鍵 56序 1
前言 3
第1章二次排序：簡介 19
二次排序問題解決方案 21
MapReduce/Hadoop的二次排序解決方案 25
Spark的二次排序解決方案 29
第2章二次排序：詳細示例 42
二次排序技術 43
二次排序的完整示例 46
運行示例——老版本Hadoop API 50
運行示例——新版本Hadoop API 52
第3章 Top 10 列表 54
Top N 設計模式的形式化描述 55
MapReduce/Hadoop實現：唯一鍵 56
Spark實現：唯一鍵 62
Spark實現：非唯一鍵 73
使用takeOrdered()的Spark Top 10 解決方案 84
MapReduce/Hadoop Top 10 解決方案：非唯一鍵 91
第4章左外連接 96
左外連接示例 96
MapReduce左外連接實現 99
Spark左外連接實現 105
使用leftOuterJoin()的Spark實現 117
第5章反轉排序 127
反轉排序模式示例 128
反轉排序模式的MapReduce/Hadoop實現 129
運行示例 134
第6章移動平均 137
示例1：時間序列數據（股票價格） 137
示例2：時間序列數據（URL訪問數） 138
形式定義 139
POJO移動平均解決方案 140
MapReduce/Hadoop移動平均解決方案 143
第7章購物籃分析 155
MBA目標 155
MBA的應用領域 157
使用MapReduce的購物籃分析 157
Spark解決方案 166
運行Spark實現的YARN 腳本 179
第8章共同好友 182
輸入 183
POJO共同好友解決方案 183
MapReduce算法 184
解決方案1: 使用文本的Hadoop實現 187
解決方案2: 使用ArrayListOfLongsWritable 的Hadoop實現 189
Spark解決方案 191
第9章使用MapReduce實現推薦引擎 201
購買過該商品的顧客還購買了哪些商品 202
經常一起購買的商品 206
推薦連接 210
第10章基于內容的電影推薦 225
輸入 226
MapReduce階段1 226
MapReduce階段2和階段3 227
Spark電影推薦實現 234
第11章使用馬爾可夫模型的智能郵件營銷 .253
馬爾可夫鏈基本原理 254
使用MapReduce的馬爾可夫模型 256
Spark解決方案 269
第12章 K-均值聚類 282
什么是K-均值聚類? 285
聚類的應用領域 285
K-均值聚類方法非形式化描述：分區方法 286
K-均值距離函數 286
K-均值聚類形式化描述 287
K-均值聚類的MapReduce解決方案 288
K-均值算法Spark實現 292
第13章 k-近鄰 296
kNN分類 297
距離函數 297
kNN示例 298
kNN算法非形式化描述 299
kNN算法形式化描述 299
kNN的類Java非MapReduce 解決方案 299
Spark的kNN算法實現 301
第14章樸素貝葉斯 315
訓練和學習示例 316
條件概率 319
深入分析樸素貝葉斯分類器 319
樸素貝葉斯分類器：符號數據的MapReduce解決方案 322
樸素貝葉斯分類器Spark實現 332
使用Spark和Mahout 347
第15章情感分析 349
情感示例 350
情感分數：正面或負面 350
一個簡單的MapReduce情感分析示例 351
真實世界的情感分析 353
第16章查找、統計和列出大圖中的所有三角形 354
基本的圖概念 355
三角形計數的重要性 356
MapReduce/Hadoop解決方案 357
Spark解決方案 364
第17章 K-mer計數 375
K-mer計數的輸入數據 376
K-mer計數應用 376
K-mer計數MapReduce/Hadoop解決方案 377
K-mer計數Spark解決方案 378
第18章 DNA測序 390
DNA測序的輸入數據 392
輸入數據驗證 393
DNA序列比對 393
DNA測試的MapReduce算法 394
第19章 Cox回歸 413
Cox模型剖析 414
使用R的Cox回歸 415
Cox回歸應用 416
Cox回歸 POJO解決方案 417
MapReduce輸入 418
使用MapReduce的Cox回歸 419
第20章 Cochran-Armitage趨勢檢驗 426
Cochran-Armitage算法 427
Cochran-Armitage應用 432
MapReduce解決方案 435
第21章等位基因頻率 443
基本定義 444
形式化問題描述 448
等位基因頻率分析的MapReduce解決方案 449
MapReduce解決方案, 階段1 449
MapReduce解決方案，階段2 459
MapReduce解決方案, 階段3 463
染色體X 和Y的特殊處理 466
第22章 T檢驗 468
對bioset完成T檢驗 469
MapReduce問題描述 472
輸入 472
期望輸出 473
MapReduce解決方案 473
Spark實現 476
第23章皮爾遜相關系數 488
皮爾遜相關系數公式 489
皮爾遜相關系數示例 491
皮爾遜相關系數數據集 492
皮爾遜相關系數POJO 解決方案 492
皮爾遜相關系數MapReduce解決方案 493
皮爾遜相關系數的Spark 解決方案 496
運行Spark程序的YARN 腳本 516
使用Spark計算斯皮爾曼相關系數 517
第24章 DNA堿基計數 520
FASTA 格式 521
FASTQ 格式 522
MapReduce解決方案：FASTA 格式 522
運行示例 524
MapReduce解決方案: FASTQ 格式 528
Spark 解決方案: FASTA 格式 533
Spark解決方案: FASTQ 格式 537
第25章 RNA測序 543
數據大小和格式 543
MapReduce工作流 544
RNA測序分析概述 544
RNA測序MapReduce算法 548
第26章基因聚合 553
輸入 554
輸出 554
MapReduce解決方案（按單個值過濾和按平均值過濾） 555
基因聚合的Spark解決方案 567
Spark解決方案：按單個值過濾 567
Spark解決方案：按平均值過濾 576
第27章線性回歸 586
基本定義 587
簡單示例 587
問題描述 588
輸入數據 589
期望輸出 590
使用SimpleRegression的MapReduce解決方案 590
Hadoop實現類 593
使用R線性模型的MapReduce解決方案 593
第28章 MapReduce和幺半群 600
概述 600
幺半群的定義 602
幺半群和非幺半群示例 603
MapReduce示例：非幺半群 606
MapReduce示例：幺半群 608
使用幺半群的Spark示例 612
使用幺半群的結論 618
函子和幺半群 619
第29章小文件問題 622
解決方案1：在客戶端合并小文件 623
解決方案2：用CombineFileInputFormat解決小文件問題 629
其他解決方案 634
第30章 MapReduce的大容量緩存 635
實現方案 636
緩存問題形式化描述 637
一個精巧、可伸縮的解決方案 637
實現LRUMap緩存 640
使用LRUMap的MapReduce解決方案 646
第31章 Bloom過濾器 651Bloom
過濾器性質 651
一個簡單的Bloom過濾器示例 653信息
展開全部
數據算法-Hadoop/Spark大數據處理技術 作者簡介
Mahmoud Parsian,計算機科學博士，是一位熱衷于實踐的軟件專家，作為開發人員、設計人員、架構師和作者，他有30多年的軟件開發經驗。目前領導著Illumina的大數據團隊，在過去15年間，他主要從事Java (服務器端)、數據庫、MapReduce和分布式計算的有關工作。Mahmoud還著有《JDBC Recipes》和《JDBC Metadata, MySQL,and Oracle Recipes》等書（均由Apress出版）。
書友推薦
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
- >
【精裝繪本】畫給孩子的中國神話
- >
名家帶你讀魯迅:故事新編
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
巴金－再思錄
- >
經典常談
- >
我與地壇
- >
姑媽的寶刀
本類暢銷
