中图网(原中国图书网):网上书店,尾货特色书店,30万种特价书低至2折!

歡迎光臨中圖網(wǎng) 請 | 注冊
> >
Spark大數(shù)據(jù)技術(shù)與應(yīng)用

包郵 Spark大數(shù)據(jù)技術(shù)與應(yīng)用

出版社:人民郵電出版社出版時間:2018-02-01
開本: 32開 頁數(shù): 272
中 圖 價:¥20.9(4.2折) 定價  ¥49.8 登錄后可看到會員價
加入購物車 收藏
開年大促, 全場包郵
?新疆、西藏除外
溫馨提示:5折以下圖書主要為出版社尾貨,大部分為全新(有塑封/無塑封),個別圖書品相8-9成新、切口
有劃線標(biāo)記、光盤等附件不全詳細品相說明>>
本類五星書更多>
買過本商品的人還買了

Spark大數(shù)據(jù)技術(shù)與應(yīng)用 版權(quán)信息

Spark大數(shù)據(jù)技術(shù)與應(yīng)用 本書特色

本書以任務(wù)為導(dǎo)向,較為全面地介紹了Spark大數(shù)據(jù)技術(shù)的相關(guān)知識。全書共9章,具體內(nèi)容包括Spark概述;Scala基礎(chǔ);Spark編程;Spark編程進階;Spark SQL:結(jié)構(gòu)化數(shù)據(jù)文件處理;Spark Streaming:實時計算框架;Spark GraphX:圖計算框架;Spark MLlib:功能強大的算法庫;項目案例:餐飲平臺菜品智能推薦。本書的大部分章節(jié)都包含了實訓(xùn)與課后習(xí)題,通過練習(xí)和操作實踐,幫助讀者鞏固所學(xué)的內(nèi)容。

Spark大數(shù)據(jù)技術(shù)與應(yīng)用 內(nèi)容簡介

資 深大數(shù)據(jù)專家張良均領(lǐng)銜暢銷書作者團隊,教育部長江學(xué)者特聘教授、國家杰出青年基金獲得者、IEEE Fellow、華南理工大學(xué)計算機與工程學(xué)院院長張軍傾力推薦。 本書采用了以任務(wù)為導(dǎo)向的教學(xué)模式,按照解決實際任務(wù)的工作流程路線,逐步展開介紹相關(guān)的理論知識點,推導(dǎo)生成可行的解決方案,后落實在任務(wù)實現(xiàn)環(huán)節(jié)。 全書大部分章節(jié)緊扣任務(wù)需求展開,不堆積知識點,著重于解決問題時思路的啟發(fā)與方案的實施。通過從任務(wù)需求到實現(xiàn)這一完整工作流程的體驗,幫助讀者真正理解與消化Hadoop大數(shù)據(jù)技術(shù)。 書中案例全部源于企業(yè)真實項目,可操作性強,引導(dǎo)讀者融會貫通,并提供源代碼等相關(guān)學(xué)習(xí)資源,幫助讀者快速掌握大數(shù)據(jù)相關(guān)技能。

Spark大數(shù)據(jù)技術(shù)與應(yīng)用 目錄

第 1章 Spark概述 1

任務(wù)1.1 認識Spark 1

1.1.1 Spark的發(fā)展 1

1.1.2 Spark的特點 2

1.1.3 Spark生態(tài)圈 4

1.1.4 Spark的應(yīng)用場景 5

任務(wù)1.2 搭建Spark環(huán)境 5

1.2.1 搭建單機版環(huán)境 6

1.2.2 搭建單機偽分布式環(huán)境 6

1.2.3 搭建完全分布式環(huán)境 7

任務(wù)1.3 了解Spark運行架構(gòu)與原理 10

1.3.1 Spark集群架構(gòu) 11

1.3.2 Spark作業(yè)運行流程 11

1.3.3 Spark核心數(shù)據(jù)集RDD 15

1.3.4 Spark核心原理 17

小結(jié) 19

第 2章 Scala基礎(chǔ) 20

任務(wù)2.1 Scala的簡介與安裝 21

2.1.1 Scala簡介 21

2.1.2 Scala特性 21

2.1.3 Scala的環(huán)境設(shè)置及安裝 21

2.1.4 運行Scala 23

任務(wù)2.2 定義函數(shù)識別號碼類型 24

2.2.1 數(shù)據(jù)類型 24

2.2.2 常量和變量 25

2.2.3 表達式 26

2.2.4 數(shù)組 27

2.2.5 函數(shù) 29

2.2.6 任務(wù)實現(xiàn) 31

任務(wù)2.3 統(tǒng)計廣州號碼段數(shù)量 32

2.3.1 if判斷 32

2.3.2 循環(huán) 33

2.3.3 任務(wù)實現(xiàn) 34

任務(wù)2.4 根據(jù)歸屬地對手機號碼段分組 34

2.4.1 List 35

2.4.2 Set 36

2.4.3 Map 37

2.4.4 元組 38

2.4.5 函數(shù)組合器 38

2.4.6 任務(wù)實現(xiàn) 39

任務(wù)2.5 編寫手機號碼歸屬地信息查詢程序 40

2.5.1 Scala類 40

2.5.2 Scala object 42

2.5.3 Scala模式匹配 42

2.5.4 Scala讀取文件 44

2.5.5 任務(wù)實現(xiàn) 44

小結(jié) 45

實訓(xùn) 45

實訓(xùn)1 編寫函數(shù)過濾文本中的回文單詞 45

實訓(xùn)2 使用Scala編程輸出楊輝三角 46

課后習(xí)題 46

第3章 Spark編程 48

任務(wù)3.1 以學(xué)生成績數(shù)據(jù)創(chuàng)建RDD 49

3.1.1 從內(nèi)存中已有數(shù)據(jù)創(chuàng)建RDD 50

3.1.2 從外部存儲創(chuàng)建RDD 51

3.1.3 任務(wù)實現(xiàn) 52

任務(wù)3.2 查詢學(xué)生成績表中的前5名 52

3.2.1 使用map轉(zhuǎn)換數(shù)據(jù) 52

3.2.2 使用sortBy()排序 53

3.2.3 使用collect()查詢 53

3.2.4 使用flatMap轉(zhuǎn)換數(shù)據(jù) 54

3.2.5 使用take()方式查詢某幾個值 54

3.2.6 任務(wù)實現(xiàn) 55

任務(wù)3.3 輸出單科成績?yōu)?00分的學(xué)生ID 55

3.3.1 使用union()合并多個RDD 56

3.3.2 使用filter()進行過濾 56

3.3.3 使用distinct()進行去重 56

3.3.4 簡單的集合操作 57

3.3.5 任務(wù)實現(xiàn) 58

任務(wù)3.4 輸出每位學(xué)生所有科目的總成績 58

3.4.1 鍵值對RDD簡介 59

3.4.2 創(chuàng)建鍵值對RDD 59

3.4.3 轉(zhuǎn)換操作keys與values 59

3.4.4 轉(zhuǎn)換操作reduceByKey() 60

3.4.5 轉(zhuǎn)換操作groupByKey() 60

3.4.6 任務(wù)實現(xiàn) 60

任務(wù)3.5 輸出每位學(xué)生的平均成績 61

3.5.1 使用join()連接兩個RDD 61

3.5.2 使用zip組合兩個RDD 63

3.5.3 使用combineByKey合并相同鍵的值 63

3.5.4 使用lookup查找指 定鍵的值 64

3.5.5 任務(wù)實現(xiàn) 64

任務(wù)3.6 將匯總后的學(xué)生成績存儲為文本文件 65

3.6.1 JSON文件的讀取與存儲 65

3.6.2 CSV文件的讀取與存儲 67

3.6.3 SquenceFile的讀取與存儲 69

3.6.4 文本文件的讀取與存儲 70

3.6.5 任務(wù)實現(xiàn) 71

小結(jié) 72

實訓(xùn) 72

實訓(xùn)1 統(tǒng)計文本中性別為“男”的用戶數(shù) 73

實訓(xùn)2 單詞計數(shù) 73

課后習(xí)題 74

第4章 Spark編程進階 76

任務(wù)4.1 搭建開發(fā)環(huán)境 77

4.1.1 下載與安裝IntelliJ IDEA 77

4.1.2 Scala插件安裝與使用 79

4.1.3 配置Spark運行環(huán)境 84

4.1.4 運行Spark程序 85

任務(wù)4.2 使用移動平均預(yù)測股票漲跌 92

4.2.1 持久化(緩存) 93

4.2.2 數(shù)據(jù)分區(qū) 94

4.2.3 計算價格波動幅度 98

4.2.4 任務(wù)實現(xiàn) 100

小結(jié) 103

實訓(xùn) 103

實訓(xùn) 競賽網(wǎng)站訪問日志分析 104

課后習(xí)題 104

第5章 Spark SQL:結(jié)構(gòu)化數(shù)據(jù)文件處理 107

任務(wù)5.1 認識Spark SQL 108

5.1.1 Spark SQL簡介 108

5.1.2 Spark SQL CLI配置 109

5.1.3 Spark SQL與Shell交互 110

任務(wù)5.2 掌握DataFrame基礎(chǔ)操作 111

5.2.1 創(chuàng)建DataFrame對象 111

5.2.2 DataFrame查看數(shù)據(jù) 114

5.2.3 DataFrame查詢操作 117

5.2.4 DataFrame輸出操作 123

任務(wù)5.3 探索分析法律服務(wù)網(wǎng)站數(shù)據(jù) 125

5.3.1 獲取數(shù)據(jù) 125

5.3.2 網(wǎng)頁類型分析 126

5.3.3 點擊次數(shù)分析 131

5.3.4 網(wǎng)頁排名分析 133

小結(jié) 135

實訓(xùn) 135

實訓(xùn)1 統(tǒng)計分析航空公司客戶數(shù)據(jù)的空值以及異常值 135

實訓(xùn)2 統(tǒng)計分析某公司每年的產(chǎn)品銷售量及銷售額 137

課后習(xí)題 139

第6章 Spark Streaming:實時計算框架 141

任務(wù)6.1 初探Spark Streaming 142

6.1.1 Spark Streaming概述 142

6.1.2 Spark Streaming運行原理 142

6.1.3 初步使用Spark Streaming 143

任務(wù)6.2 掌握DStream編程模型 145

6.2.1 DStream簡介 146

6.2.2 DStream轉(zhuǎn)換操作 146

6.2.3 DStream窗口操作 148

6.2.4 DStream輸出操作 151

任務(wù)6.3 Spark Streaming實時更新熱門博文 155

6.3.1 Spark Streaming輸入數(shù)據(jù)源 155

6.3.2 Spark Streaming計算網(wǎng)頁熱度 158

6.3.3 網(wǎng)頁熱度輸出 158

6.3.4 任務(wù)實現(xiàn) 159

小結(jié) 161

實訓(xùn) 161

實訓(xùn)1 過濾打印包含單詞error的記錄 162

實訓(xùn)2 實時過濾歌曲播放次數(shù)超過100次的記錄并存儲在HDFS上 162

課后習(xí)題 162

第7章 Spark GraphX:圖計算框架 165

任務(wù)7.1 認識Spark GraphX 166

7.1.1 圖的基本概念 166

7.1.2 圖計算的應(yīng)用 167

7.1.3 GraphX的基礎(chǔ)概念 168

7.1.4 GraphX的發(fā)展 168

任務(wù)7.2 了解GraphX常用API 169

7.2.1 圖的創(chuàng)建與存儲 169

7.2.2 數(shù)據(jù)查詢與數(shù)據(jù)轉(zhuǎn)換 174

7.2.3 結(jié)構(gòu)轉(zhuǎn)換與關(guān)聯(lián)聚合 180

任務(wù)7.3 構(gòu)建信任網(wǎng)絡(luò)并找出目標(biāo)用戶 187

7.3.1 構(gòu)建網(wǎng)站信任網(wǎng)絡(luò) 188

7.3.2 找出需要支付稿酬的用戶 188

7.3.3 找出進入熱門榜的用戶 189

小結(jié) 191

實訓(xùn) 191

實訓(xùn)1 使用PageRank算法完成網(wǎng)頁排名 191

實訓(xùn)2 利用二度關(guān)系完成商品推薦 192

課后習(xí)題 194

第8章 Spark MLlib:功能強大的算法庫 196

任務(wù)8.1 了解MLlib算法庫 197

8.1.1 機器學(xué)習(xí)簡介 197

8.1.2 MLlib介紹 198

任務(wù)8.2 以Logistic回歸實現(xiàn)用戶分類 212

8.2.1 分析思路 212

8.2.2 數(shù)據(jù)處理 213

8.2.3 MLlib實現(xiàn)Logistic回歸 215

8.2.4 任務(wù)實現(xiàn) 217

小結(jié) 221

實訓(xùn) 221

實訓(xùn)1 通過KMeans定位商圈 221

實訓(xùn)2 樸素貝葉斯進行文本分類 222

課后習(xí)題 223

第9章 項目案例:餐飲平臺菜品智能推薦 226

任務(wù)9.1 推薦方案設(shè)計 227

9.1.1 用戶數(shù)據(jù)分析 227

9.1.2 常用推薦算法 229

9.1.3 推薦流程設(shè)計 231

任務(wù)9.2 數(shù)據(jù)預(yù)處理 232

9.2.1 原始數(shù)據(jù)探索分析 233

9.2.2 異常數(shù)據(jù)處理 237

9.2.3 數(shù)據(jù)變換處理 237

9.2.4 數(shù)據(jù)集分割 239

任務(wù)9.3 建立推薦模型 240

9.3.1 以基于用戶的協(xié)同過濾算法建模 240

9.3.2 以基于物品的協(xié)同過濾算法建模 243

9.3.3 以基于Spark ALS的協(xié)同過濾算法建立模型 246

9.3.4 推薦模型的評測 251

任務(wù)9.4 使用模型進行菜品推薦 262

9.4.1 對某用戶推薦10道新菜品 262

9.4.2 對所有用戶進行新菜品推薦 267

小結(jié) 272
展開全部

Spark大數(shù)據(jù)技術(shù)與應(yīng)用 作者簡介

張良均,高級信息系統(tǒng)項目管理師,泰迪杯全國大學(xué)生數(shù)據(jù)挖掘競賽(www.tipdm.org)發(fā)起人。華南師范大學(xué)、廣東工業(yè)大學(xué)兼職教授,廣東省工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會理事。兼有大型高科技企業(yè)和高校的工作經(jīng)歷,主要從事大數(shù)據(jù)挖掘及其應(yīng)用的策劃、研發(fā)及咨詢培訓(xùn)。全國計算機技術(shù)與軟件專業(yè)技術(shù)資格(水平)考試繼續(xù)教育和CDA數(shù)據(jù)分析師培訓(xùn)講師。發(fā)表數(shù)據(jù)挖掘相關(guān)論文數(shù)二十余篇,已取得國家發(fā)明專利12項,主編《Hadoop大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》《R語言數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》等多本暢銷圖書,主持并完成科技項目9項。獲得SAS、SPSS數(shù)據(jù)挖掘認證及Hadoop開發(fā)工程師證書,具有電力、電信、銀行、制造企業(yè)、電子商務(wù)和電子政務(wù)的項目經(jīng)驗和行業(yè)背景。

商品評論(0條)
暫無評論……
書友推薦
本類暢銷
編輯推薦
返回頂部
中圖網(wǎng)
在線客服
主站蜘蛛池模板: 合肥活动房_安徽活动板房_集成打包箱房厂家-安徽玉强钢结构集成房屋有限公司 | 农产品溯源系统_农产品质量安全追溯系统_溯源系统 | 示波器高压差分探头-国产电流探头厂家-南京桑润斯电子科技有限公司 | ISO9001认证咨询_iso9001企业认证代理机构_14001|18001|16949|50430认证-艾世欧认证网 | 上海网站建设-上海网站制作-上海网站设计-上海做网站公司-咏熠软件 | 章丘丰源机械有限公司 - 三叶罗茨风机,罗茨鼓风机,罗茨风机 | 紫外可见光分光度计-紫外分光度计-分光光度仪-屹谱仪器制造(上海)有限公司 | 袋式过滤器,自清洗过滤器,保安过滤器,篮式过滤器,气体过滤器,全自动过滤器,反冲洗过滤器,管道过滤器,无锡驰业环保科技有限公司 | 胜为光纤光缆_光纤跳线_单模尾纤_光纤收发器_ODF光纤配线架厂家直销_北京睿创胜为科技有限公司 - 北京睿创胜为科技有限公司 | 全自动在线分板机_铣刀式在线分板机_曲线分板机_PCB分板机-东莞市亿协自动化设备有限公司 | 骨龄仪_骨龄检测仪_儿童骨龄测试仪_品牌生产厂家【品源医疗】 | 变位机,焊接变位机,焊接变位器,小型变位机,小型焊接变位机-济南上弘机电设备有限公司 | 航空障碍灯_高中低光强航空障碍灯_民航许可认证航空警示灯厂家-东莞市天翔航天科技有限公司 | 网络推广公司_网络营销方案策划_企业网络推广外包平台-上海澜推网络 | 生物风-销售载体,基因,质粒,ATCC细胞,ATCC菌株等,欢迎购买-百风生物 | 高压直流电源_特种变压器_变压器铁芯-希恩变压器定制厂家 | 德国BOSCH电磁阀-德国HERION电磁阀-JOUCOMATIC电磁阀|乾拓百科 | 意大利Frascold/富士豪压缩机_富士豪半封闭压缩机_富士豪活塞压缩机_富士豪螺杆压缩机 | 山东石英砂过滤器,除氟过滤器「价格低」-淄博胜达水处理 | 飞歌臭氧发生器厂家_水处理臭氧发生器_十大臭氧消毒机品牌 | 节流截止放空阀-不锈钢阀门-气动|电动截止阀-鸿华阀门有限公司 | led冷热冲击试验箱_LED高低温冲击试验箱_老化试验箱-爱佩百科 | 山东螺杆空压机,烟台空压机,烟台开山空压机-烟台开山机电设备有限公司 | 横河变送器-横河压力变送器-EJA变送器-EJA压力变送器-「泉蕴仪表」 | 高低温万能试验机-复合材料万能试验机-馥勒仪器 | STRO|DTRO-STRO反渗透膜(科普)_碟滤 | 昆明挖掘机修理厂_挖掘机翻新再制造-昆明聚力工程机械维修有限公司 | 空冷器|空气冷却器|空水冷却器-无锡赛迪森机械有限公司[官网] | 信阳市建筑勘察设计研究院有限公司| 空气净化器租赁,空气净化器出租,全国直租_奥司汀净化器租赁 | 上海物流公司,上海货运公司,上海物流专线-优骐物流公司 | 武汉画册印刷厂家-企业画册印刷-画册设计印刷制作-宣传画册印刷公司 - 武汉泽雅印刷厂 | led全彩屏-室内|学校|展厅|p3|户外|会议室|圆柱|p2.5LED显示屏-LED显示屏价格-LED互动地砖屏_蕙宇屏科技 | 并网柜,汇流箱,电控设备,中高低压开关柜,电气电力成套设备,PLC控制设备订制厂家,江苏昌伟业新能源科技有限公司 | 桁架机器人_桁架机械手_上下料机械手_数控车床机械手-苏州清智科技装备制造有限公司 | 东莞压铸厂_精密压铸_锌合金压铸_铝合金压铸_压铸件加工_东莞祥宇金属制品 | 流变仪-热分析联用仪-热膨胀仪厂家-耐驰科学仪器商贸 | 硫化罐-电加热蒸汽硫化罐生产厂家-山东鑫泰鑫智能装备有限公司 | 葡萄酒灌装机-食用油灌装机-液体肥灌装设备厂家_青州惠联灌装机械 | [官网]叛逆孩子管教_戒网瘾学校_全封闭问题青少年素质教育_新起点青少年特训学校 | 河南凯邦机械制造有限公司|