掃一掃
關(guān)注中圖網(wǎng)
官方微博
>
>>
Spark大數(shù)據(jù)分析實(shí)戰(zhàn)
Spark大數(shù)據(jù)分析實(shí)戰(zhàn) 版權(quán)信息
- ISBN：9787111523079
- 條形碼：9787111523079 ; 978-7-111-52307-9
- 裝幀：暫無
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>>
Spark大數(shù)據(jù)分析實(shí)戰(zhàn) 本書特色
這是一本根據(jù)應(yīng)用場景講解如何通過spark進(jìn)行大數(shù)據(jù)分析與應(yīng)用構(gòu)建的著作，以實(shí)戰(zhàn)為導(dǎo)向。作者結(jié)合典型應(yīng)用場景，抽象出通用與簡化后的模型，以便于讀者能舉一反三，直接應(yīng)用。 本書首先從技術(shù)層面講解了spark的機(jī)制、生態(tài)系統(tǒng)與開發(fā)相關(guān)的內(nèi)容；然后從應(yīng)用角度講解了日志分析、推薦系統(tǒng)、情感分析、協(xié)同過濾、搜索引擎、社交網(wǎng)絡(luò)分析、新聞數(shù)據(jù)分析等多個(gè)常見的大數(shù)據(jù)場景下的數(shù)據(jù)分析。在每個(gè)場景中，首先是對場景進(jìn)行抽象與概括，然后將spark融入其中構(gòu)建數(shù)據(jù)分析算法與應(yīng)用，*后結(jié)合其他開源系統(tǒng)或工具構(gòu)建更為豐富的數(shù)據(jù)分析流水線。
Spark大數(shù)據(jù)分析實(shí)戰(zhàn) 內(nèi)容簡介
本書一共11章：其中第1～3章，主要介紹了Spark的基本概念、編程模型、開發(fā)與部署的方法；第4～11章，詳細(xì)詳解了熱點(diǎn)新聞分析系統(tǒng)、基于云平臺的日志數(shù)據(jù)分析、情感分析系統(tǒng)、搜索引擎鏈接分析系統(tǒng)等的應(yīng)用與算法等核心知識點(diǎn)。
Spark大數(shù)據(jù)分析實(shí)戰(zhàn) 目錄
目 錄?contents前 言第1章 spark簡介 11.1 初識spark 11.2 spark生態(tài)系統(tǒng)bdas 31.3 spark架構(gòu)與運(yùn)行邏輯 41.4 彈性分布式數(shù)據(jù)集 61.4.1 rdd簡介 61.4.2 rdd算子分類 81.5 本章小結(jié) 17第2章 spark開發(fā)與環(huán)境配置 182.1 spark應(yīng)用開發(fā)環(huán)境配置 182.1.1 使用intellij開發(fā)spark程序 182.1.2 使用sparkshell進(jìn)行交互式數(shù)據(jù)分析 232.2 遠(yuǎn)程調(diào)試spark程序 242.3 spark編譯 262.4 配置spark源碼閱讀環(huán)境 292.5 本章小結(jié) 29第3章 bdas簡介 303.1 sql on spark 303.1.1 為什么使用spark sql 313.1.2 spark sql架構(gòu)分析 323.2 spark streaming 353.2.1 spark streaming簡介 353.2.2 spark streaming架構(gòu) 383.2.3 spark streaming原理剖析 383.3 graphx 453.3.1 graphx簡介 453.3.2 graphx的使用簡介 453.3.3 graphx體系結(jié)構(gòu) 483.4 mllib 503.4.1 mllib簡介 503.4.2 mllib中的聚類和分類 523.5 本章小結(jié) 57第4章 lamda架構(gòu)日志分析流水線 584.1 日志分析概述 584.2 日志分析指標(biāo) 614.3 lamda架構(gòu) 624.4 構(gòu)建日志分析數(shù)據(jù)流水線 644.4.1 用flume進(jìn)行日志采集 644.4.2 用kafka將日志匯總 684.4.3 用spark streaming進(jìn)行實(shí)時(shí)日志分析 704.4.4 spark sql離線日志分析 754.4.5 用flask將日志kpi可視化 784.5 本章小結(jié) 81第5章 基于云平臺和用戶日志的推薦系統(tǒng) 825.1 azure云平臺簡介 825.1.1 azure網(wǎng)站模型 835.1.2 azure數(shù)據(jù)存儲 845.1.3 azure queue消息傳遞 845.2 系統(tǒng)架構(gòu) 855.3 構(gòu)建node.js應(yīng)用 865.3.1 創(chuàng)建azure web應(yīng)用 875.3.2 構(gòu)建本地node.js網(wǎng)站 905.3.3 發(fā)布應(yīng)用到云平臺 905.4 數(shù)據(jù)收集與預(yù)處理 915.4.1 通過js收集用戶行為日志 925.4.2 用戶實(shí)時(shí)行為回傳到azure queue 945.5 spark streaming實(shí)時(shí)分析用戶日志 965.5.1 構(gòu)建azure queue的spark streaming receiver 965.5.2 spark streaming實(shí)時(shí)處理azure queue日志 975.5.3 spark streaming數(shù)據(jù)存儲于azure table 985.6 mllib離線訓(xùn)練模型 995.6.1 加載訓(xùn)練數(shù)據(jù) 995.6.2 使用rating rdd訓(xùn)練als模型 1005.6.3 使用als模型進(jìn)行電影推薦 1015.6.4 評估模型的均方差 1015.7 本章小結(jié) 102第6章 twitter情感分析 1036.1 系統(tǒng)架構(gòu) 1036.2 twitter數(shù)據(jù)收集 1046.2.1 設(shè)置 1046.2.2 spark streaming接收并輸出tweet 1096.3 數(shù)據(jù)預(yù)處理與cassandra存儲 1116.3.1 添加sbt依賴 1116.3.2 創(chuàng)建cassandra schema 1126.3.3 數(shù)據(jù)存儲于cassandra 1126.4 spark streaming熱點(diǎn)twitter分析 1136.5 spark streaming在線情感分析 1156.6 spark sql進(jìn)行twitter分析 1186.6.1 讀取cassandra數(shù)據(jù) 1186.6.2 查看json數(shù)據(jù)模式 1186.6.3 spark sql分析twitter 1196.7 twitter可視化 1236.8 本章小結(jié) 125第7章 熱點(diǎn)新聞分析系統(tǒng) 1267.1 新聞數(shù)據(jù)分析 1267.2 系統(tǒng)架構(gòu) 1267.3 爬蟲抓取網(wǎng)絡(luò)信息 1277.3.1 scrapy簡介 1277.3.2 創(chuàng)建基于scrapy的新聞爬蟲 1287.3.3 爬蟲分布式化 1337.4 新聞文本數(shù)據(jù)預(yù)處理 1347.5 新聞聚類 1357.5.1 數(shù)據(jù)轉(zhuǎn)換為向量（向量空間模型vsm） 1357.5.2 新聞聚類 1367.5.3 詞向量同義詞查詢 1387.5.4 實(shí)時(shí)熱點(diǎn)新聞分析 1387.6 spark elastic search構(gòu)建全文檢索引擎 1397.6.1 部署elastic search 1397.6.2 用elastic search索引mongodb數(shù)據(jù) 1417.6.3 通過elastic search檢索數(shù)據(jù) 1437.7 本章小結(jié) 145第8章 構(gòu)建分布式的協(xié)同過濾推薦系統(tǒng) 1468.1 推薦系統(tǒng)簡介 1468.2 協(xié)同過濾介紹 1478.2.1 基于用戶的協(xié)同過濾算法user-based cf 1488.2.2 基于項(xiàng)目的協(xié)同過濾算法item-based cf 1498.2.3 基于模型的協(xié)同過濾推薦model-based cf 1508.3 基于spark的矩陣運(yùn)算實(shí)現(xiàn)協(xié)同過濾算法 1528.3.1 spark中的矩陣類型 1528.3.2 spark中的矩陣運(yùn)算 1538.3.3 實(shí)現(xiàn)user-based協(xié)同過濾的示例 1538.3.4 實(shí)現(xiàn)item-based協(xié)同過濾的示例 1548.3.5 基于奇異值分解實(shí)現(xiàn)model-based協(xié)同過濾的示例 1558.4 基于spark的mllib實(shí)現(xiàn)協(xié)同過濾算法 1558.4.1 mllib的推薦算法工具 1558.4.2 mllib協(xié)同過濾推薦示例 1568.5 案例：使用mllib協(xié)同過濾實(shí)現(xiàn)電影推薦 1578.5.1 movielens數(shù)據(jù)集 1578.5.2 確定**的協(xié)同過濾模型參數(shù) 1588.5.3 利用**模型進(jìn)行電影推薦 1608.6 本章小結(jié) 161第9章 基于spark的社交網(wǎng)絡(luò)分析 1629.1 社交網(wǎng)絡(luò)介紹 1629.1.1 社交網(wǎng)絡(luò)的類型 1629.1.2 社交網(wǎng)絡(luò)的相關(guān)概念 1639.2 社交網(wǎng)絡(luò)中社團(tuán)挖掘算法 1649.2.1 聚類分析和k均值算法簡介 1659.2.2 社團(tuán)挖掘的衡量指標(biāo) 1659.2.3 基于譜聚類的社團(tuán)挖掘算法 1669.3 spark中的k均值算法 1689.3.1 spark中與k均值有關(guān)的對象和方法 1689.3.2 spark下k均值算法示例 1689.4 案例：基于spark的facebook社團(tuán)挖掘 1699.4.1 snap社交網(wǎng)絡(luò)數(shù)據(jù)集介紹 1699.4.2 基于spark的社團(tuán)挖掘?qū)崿F(xiàn) 1709.5 社交網(wǎng)絡(luò)中的鏈路預(yù)測算法 1729.5.1 分類學(xué)習(xí)簡介 1729.5.2 分類器的評價(jià)指標(biāo) 1739.5.3 基于logistic回歸的鏈路預(yù)測算法 1749.6 spark mllib中的logistic回歸 1749.6.1 分類器相關(guān)對象 1749.6.2 模型驗(yàn)證對象 1759.6.3 基于spark的logistic回歸示例 1759.7 案例：基于spark的鏈路預(yù)測算法 1779.7.1 snap符號社交網(wǎng)絡(luò)epinions數(shù)據(jù)集 1779.7.2 基于spark的鏈路預(yù)測算法 1779.8 本章小結(jié) 179第10章 基于spark的大規(guī)模新聞主題分析 18010.1 主題模型簡介 18010.2 主題模型lda 18110.2.1 lda模型介紹 18110.2.2 lda的訓(xùn)練算法 18310.3 spark中的lda模型 18510.3.1 mllib對lda的支持 18510.3.2 spark中l(wèi)da模型訓(xùn)練示例 18610.4 案例：newsgroups新聞的主題分析 18910.4.1 newsgroups數(shù)據(jù)集介紹 19010.4.2 交叉驗(yàn)證估計(jì)新聞的主題個(gè)數(shù) 19010.4.3 基于主題模型的文本聚類算法 19310.4.4 基于主題模型的文本分類算法 19510.5 本章小結(jié) 196第11章 構(gòu)建分布式的搜索引擎 19711.1 搜索引擎簡介 19711.2 搜索排序概述 19811.3 查詢無關(guān)模型pagerank 19911.4 基于spark的分布式pagerank實(shí)現(xiàn) 20011.4.1 pagerank的mapreduce實(shí)現(xiàn) 20011.4.2 spark的分布式圖模型graphx 20311.4.3 基于graphx的pagerank實(shí)現(xiàn) 20311.5 案例：googleweb graph的pagerank計(jì)算 20411.6 查詢相關(guān)模型ranking svm 20611.7 spark中支持向量機(jī)的實(shí)現(xiàn) 20811.7.1 spark中的支持向量機(jī)模型 20811.7.2 使用spark測試數(shù)據(jù)演示支持向量機(jī)的訓(xùn)練 20911.8 案例：基于mslr數(shù)據(jù)集的查詢排序 21111.8.1 microsoft learning to rank數(shù)據(jù)集介紹 21111.8.2 基于spark的ranking svm實(shí)現(xiàn) 21211.9 本章小結(jié) 213
展開全部
書友推薦
- >
月亮虎
- >
有舍有得是人生
- >
名家?guī)阕x魯迅:故事新編
- >
羅曼·羅蘭讀書隨筆-精裝
- >
中國歷史的瞬間
- >
名家?guī)阕x魯迅:朝花夕拾
- >
推拿
- >
大紅狗在馬戲團(tuán)-大紅狗克里弗-助人
本類暢銷
