包郵 Spark大數(shù)據(jù)分析與實戰(zhàn)

作者：鄭述招，何雪琪編著

出版社：西安電子科技大學(xué)出版社出版時間：2020-09-01

開本： 26cm 頁數(shù)： 226頁

本類榜單：教材銷量榜

中圖價:¥29.1(7.5折) 定價 ~~¥39.0~~ 登錄后可看到會員價

加入購物車收藏

開年大促， 全場包郵

?新疆、西藏除外

本類五星書更多>

>
闖進(jìn)數(shù)學(xué)世界――探秘歷史名題

闖進(jìn)數(shù)學(xué)世界――探秘歷史名題

¥20.7¥32.8
>
中醫(yī)基礎(chǔ)理論

中醫(yī)基礎(chǔ)理論

¥51.7¥59
>
當(dāng)代中國政府與政治(新編21世紀(jì)公共管理系列教材)

當(dāng)代中國政府與政治(新編21世紀(jì)公共管理系列教材)

¥31.2¥48
>
高校軍事課教程

高校軍事課教程

¥12.4¥38
>
思想道德與法治(2021年版)

思想道德與法治(2021年版)

¥8.5¥18
>
毛澤東思想和中國特色社會主義理論體系概論(2021年版)

毛澤東思想和中國特色社會主義理論體系概論(2021年版)

¥8.5¥25
>
中醫(yī)內(nèi)科學(xué)·全國中醫(yī)藥行業(yè)高等教育“十四五”規(guī)劃教材

中醫(yī)內(nèi)科學(xué)·全國中醫(yī)藥行業(yè)高等教育“十四五”規(guī)劃教材

¥85.1¥99

商品詳情
商品評論(0條)

中圖價:¥29.1 加入購物車

版權(quán)信息
本書特色
內(nèi)容簡介
目錄

Spark大數(shù)據(jù)分析與實戰(zhàn) 版權(quán)信息

ISBN：9787560658117
條形碼：9787560658117 ; 978-7-5606-5811-7
裝幀：一般膠版紙
冊數(shù)：暫無
重量：暫無
所屬分類：
教材
>
高職高專教材

Spark大數(shù)據(jù)分析與實戰(zhàn) 本書特色

立體化教材。按照“項目驅(qū)動、任務(wù)引領(lǐng)”教學(xué)理念，設(shè)置教學(xué)內(nèi)容；提供全套學(xué)習(xí)資源及大數(shù)據(jù)分析實驗環(huán)境，保證“0基礎(chǔ)”學(xué)習(xí)；學(xué)以致用，在三千余行代碼實踐中完成Spark數(shù)據(jù)分析任務(wù)。

Spark大數(shù)據(jù)分析與實戰(zhàn) 內(nèi)容簡介

Spark是當(dāng)前主流的大數(shù)據(jù)計算框架，本書較為全面地介紹了Spark的基本知識。按照“項目驅(qū)動、任務(wù)導(dǎo)向”的理念，全書設(shè)計了七個項目，分別是搭建Spark環(huán)境、編寫Scala程序處理4S店數(shù)據(jù)、Spark RDD分析交通違章記錄、Spark SQL處理結(jié)構(gòu)化學(xué)生信息、Spark編程進(jìn)階、Spark Streaming處理流數(shù)據(jù)及Spark ML實現(xiàn)電影推薦。為了使讀者迅速掌握Spark的基本知識，本書提供了大量編程實例及配套資源，包括源代碼、軟件、數(shù)據(jù)集、虛擬機、習(xí)題答案等；另外，為了進(jìn)一步降低入門門檻，本書還提供了配置好開發(fā)環(huán)境的Ubuntu虛擬機，讀者可通過使用Virtual Box等工具導(dǎo)入后，迅速開始Spark相關(guān)知識的學(xué)習(xí)，省卻了大量的環(huán)境配置等工作。本書既可作為大數(shù)據(jù)、計算機、軟件工程、信息管理等相關(guān)專業(yè)的教材，也可以作為大數(shù)據(jù)技術(shù)愛好者的自學(xué)用書。

Spark大數(shù)據(jù)分析與實戰(zhàn) 目錄

項目一搭建Spark環(huán)境 1 項目概述 1 項目演示 1 思維導(dǎo)圖 2 任務(wù)1.1 認(rèn)識大數(shù)據(jù) 2 1.1.1 大數(shù)據(jù)時代 2 1.1.2 大數(shù)據(jù)的普遍特征——4V 3 1.1.3 大數(shù)據(jù)的來源 5 1.1.4 大數(shù)據(jù)的處理過程 5 任務(wù)1.2 搭建Hadoop環(huán)境 6 1.2.1 認(rèn)識Hadoop生態(tài)體系 7 1.2.2 Hadoop環(huán)境的搭建 8 1.2.3 Hadoop平臺的初步體驗 12 任務(wù)1.3 認(rèn)識Spark 13 1.3.1 初識Spark 13 1.3.2 Spark中的運行框架與過程 16 1.3.3 Spark與Hadoop的比較 17 任務(wù)1.4 搭建Spark環(huán)境 19 1.4.1 Spark部署模式 19 1.4.2 Spark本地模式環(huán)境搭建 20 1.4.3 Spark的簡單使用 21 1.4.4 Virtual Box中導(dǎo)入虛擬機 22 項目小結(jié) 24 課后練習(xí) 24 能力拓展 25 項目二編寫Scala程序處理4S店數(shù)據(jù) 26 項目概述 26 項目演示 26 思維導(dǎo)圖 27 任務(wù)2.1 Scala的安裝與體驗 27 2.1.1 Scala簡介 27 2.1.2 Scala的特性 28 2.1.3 Scala的下載與安裝 28 2.1.4 輕松編寫**個Scala程序 29 2.1.5 在網(wǎng)頁上編寫Scala程序 31 任務(wù)2.2 查找并輸出店鋪的相關(guān)信息 32 2.2.1 數(shù)據(jù)類型 32 2.2.2 變量與常量 32 2.2.3 Scala中的運算符 34 2.2.4 if條件語句 36 2.2.5 Scala中的函數(shù) 37 2.2.6 使用函數(shù)查詢4S店信息 39 任務(wù)2.3 統(tǒng)計廣州4S店的數(shù)量 40 2.3.1 for循環(huán) 40 2.3.2 while、do...while循環(huán) 41 2.3.3 數(shù)組 42 2.3.4 使用循環(huán)統(tǒng)計廣州4S店的數(shù)量 43 任務(wù)2.4 分組統(tǒng)計4S店信息 43 2.4.1 元組 43 2.4.2 List 44 2.4.3 Set 46 2.4.4 Map 47 2.4.5 高階函數(shù) 48 2.4.6 使用集合分組統(tǒng)計4S店的信息 51 任務(wù)2.5 編寫?yīng)毩?yīng)用程序?qū)Φ赇仈?shù)據(jù)進(jìn)行分析 52 2.5.1 類與對象 52 2.5.2 繼承 53 2.5.3 特質(zhì) 54 2.5.4 單例對象與伴生對象 55 2.5.5 模式匹配與樣例類 56 2.5.6 文件的讀/寫 57 2.5.7 讀取數(shù)據(jù)文件對4S店數(shù)據(jù) 進(jìn)行分析 58 項目小結(jié) 59 課后練習(xí) 60 能力拓展 60 項目三 Spark RDD分析交通違章記錄 61 項目概述 61 項目演示 61 思維導(dǎo)圖 62 任務(wù)3.1 根據(jù)交通違章數(shù)據(jù)創(chuàng)建RDD 62 3.1.1 認(rèn)識RDD 62 3.1.2 從Seq集合創(chuàng)建RDD 63 3.1.3 從外部存儲創(chuàng)建RDD 65 3.1.4 從交通違法數(shù)據(jù)文件創(chuàng)建RDD 67 任務(wù)3.2 找出扣分*高的交通違法條目 67 3.2.1 map操作 68 3.2.2 使用collect查看元素 69 3.2.3 使用take(N)方法查詢RDD中的 N個值 69 3.2.4 使用first操作得到**個元素值 69 3.2.5 flatMap操作 70 3.2.6 使用sortBy操作對RDD的元素進(jìn)行排序 70 3.2.7 找出扣分*多的三種交通違法條目 71 任務(wù)3.3 查找某車輛的違章記錄 72 3.3.1 filter操作過濾RDD的元素 72 3.3.2 distinct操作進(jìn)行元素去重 73 3.3.3 union操作進(jìn)行RDD合并 73 3.3.4 intersection操作求兩個RDD的共同元素 74 3.3.5 subtract操作求兩個RDD的補 75 3.3.6 cartesian操作求兩個RDD的笛卡爾積 75 3.3.7 查找車輛AK0803的違章記錄 75 任務(wù)3.4 查找違章3次以上車輛 76 3.4.1 鍵值對RDD 76 3.4.2 keys操作得到一個新RDD 77 3.4.3 values操作得到一個新RDD 77 3.4.4 lookup查找value 77 3.4.5 groupByKey 78 3.4.6 reduceByKey 78 3.4.7 mapValues對鍵值對RDD的 value進(jìn)行處理 79 3.4.8 sortByKey排序 79 3.4.9 查找違章3次以上車輛 80 任務(wù)3.5 查找累計扣12分以上車輛信息 80 3.5.1 zip操作將兩個RDD組合成鍵值對RDD 81 3.5.2 join連接兩個RDD 81 3.5.3 rightOuterJoin 82 3.5.4 leftOuterJoin 82 3.5.5 fullOuterJoin 82 3.5.6 查找累計扣12分以上車輛信息 83 任務(wù)3.6 各類文件的讀/寫操作 85 3.6.1 讀/寫文本文件 85 3.6.2 讀/寫JSON格式的數(shù)據(jù) 86 3.6.3 讀/寫CSV、TSV格式文件 88 3.6.4 讀/寫SequenceFile文件 90 3.6.5 讀取文件進(jìn)行詞頻統(tǒng)計并存儲結(jié)果 91 3.6.6 將違章信息保存為TSV 格式文件 92 項目小結(jié) 94 課后練習(xí) 94 能力拓展 95 項目四 Spark SQL處理結(jié)構(gòu)化學(xué)生數(shù)據(jù) 97 項目概述 97 項目演示 97 思維導(dǎo)圖 98 任務(wù)4.1 初識結(jié)構(gòu)化數(shù)據(jù)處理工具 Spark SQL 98 4.1.1 Spark SQL的產(chǎn)生 98 4.1.2 Spark SQL的特點 99 4.1.3 體驗Spark SQL不同版本的操作差異 99 任務(wù)4.2 認(rèn)識DataFrame、Dataset 數(shù)據(jù)類型 100 4.2.1 認(rèn)識DataFrame 100 4.2.2 認(rèn)識Dataset 101 4.2.3 RDD、DataFrame、Dataset 三者的區(qū)別 102 任務(wù)4.3 由學(xué)生信息創(chuàng)建DataFrame 102 4.3.1 由學(xué)生信息JSON文件創(chuàng)建DataFrame 102 4.3.2 printSchema打印DataFrame的數(shù)據(jù)模式 103 4.3.3 show方法顯示DataFrame中的數(shù)據(jù) 103 4.3.4 獲取DataFrame若干行記錄 105 4.3.5 獲取DataFrame所有記錄 106 任務(wù)4.4 Spark SQL分析學(xué)生信息(1) 106 4.4.1 where方法 106 4.4.2 filter篩選相關(guān)數(shù)據(jù) 108 4.4.3 select方法 108 4.4.4 selectExpr方法 109 4.4.5 獲取指定的Column 109 4.4.6 去掉指定的列 110 任務(wù)4.5 Spark SQL分析學(xué)生信息(2) 110 4.5.1 limit方法獲取前N行 110 4.5.2 orderBy、sort排序 111 4.5.3 groupBy操作 112 4.5.4 distinct方法去重操作 113 4.5.5 agg操作 114 4.5.6 join操作 114 任務(wù)4.6 Spark SQL分析學(xué)生信息(3) 115 4.6.1 stat方法獲取指定字段統(tǒng)計信息 115 4.6.2 intersect方法獲取兩個 DataFrame的共有記錄 116 4.6.3 操作字段名 116 4.6.4 處置空值 117 任務(wù)4.7 SQL語法風(fēng)格處理學(xué)生信息 118 4.7.1 Spark SQL中的DSL風(fēng)格與 SQL風(fēng)格 118 4.7.2 創(chuàng)建臨時視圖 119 4.7.3 按條件查找學(xué)生信息 119 4.7.4 分組統(tǒng)計學(xué)生信息 119 4.7.5 用戶自定義函數(shù)判斷學(xué)生是否成年 120 任務(wù)4.8 其他類型數(shù)據(jù)創(chuàng)建DataFrame 121 4.8.1 內(nèi)存數(shù)據(jù)創(chuàng)建DataFrame 121 4.8.2 JSON文件創(chuàng)建DataFrame 122 4.8.3 CSV數(shù)據(jù)創(chuàng)建DataFrame 122 4.8.4 Parquet數(shù)據(jù)創(chuàng)建DataFrame 122 4.8.5 DataFrame數(shù)據(jù)保存到文件中 123 任務(wù)4.9 RDD、DataFrame與Dataset的相互轉(zhuǎn)換 123 4.9.1 使用反射機制由RDD生成 DataFrame 123 4.9.2 以編程方式由RDD生成 DataFrame 124 4.9.3 DataFrame轉(zhuǎn)換為RDD 126 4.9.4 DataFrame與Dataset之間的轉(zhuǎn)換 126 任務(wù)4.10 通過JDBC連接MySQL 數(shù)據(jù)庫 127 4.10.1 準(zhǔn)備工作 127 4.10.2 讀取MySQL表格創(chuàng)建 DataFrame 128 4.10.3 DataFrame數(shù)據(jù)寫入MySQL 129 任務(wù)4.11 Spark SQL讀/寫Hive數(shù)據(jù) 130 4.11.1 編譯源代碼、創(chuàng)建支持Hive的版本 130 4.11.2 讀取Hive數(shù)據(jù) 130 項目小結(jié) 131 課后練習(xí) 132 能力拓展 132 項目五 Spark編程進(jìn)階 134 項目概述 134 項目演示 134 思維導(dǎo)圖 134 任務(wù)5.1 搭建IntelliJ IDEA開發(fā)環(huán)境 135 5.1.1 下載安裝IntelliJ IDEA 135 5.1.2 創(chuàng)建工程 141 5.1.3 修改pom.xml的內(nèi)容 144 5.1.4 新建Scala文件、編寫程序 146 5.1.5 在IDEA中運行程序 147 5.1.6 工程打包、提交集群運行 148 任務(wù)5.2 IDEA下用Spark RDD分析 Sogou日志 149 5.2.1 數(shù)據(jù)說明 150 5.2.2 需求分析 150 5.2.3 IDEA下編寫程序 151 5.2.4 運行程序 153 任務(wù)5.3 IDEA下用Spark SQL分析疫苗流向數(shù)據(jù) 153 5.3.1 數(shù)據(jù)說明 153 5.3.2 需求分析 154 5.3.3 IDEA下編寫程序 154 5.3.4 運行程序 156 任務(wù)5.4 使用RDD緩存機制提升效率 157 5.4.1 Spark 緩存機制概述 158 5.4.2 Spark RDD緩存體驗 159 任務(wù)5.5 認(rèn)識RDD廣播變量和累加器 162 5.5.1 共享變量 162 5.5.2 廣播變量 162 5.5.3 累加器 164 任務(wù)5.6 理解RDD的依賴關(guān)系 165 5.6.1 Spark RDD的執(zhí)行流程 165 5.6.2 RDD間的依賴關(guān)系 166 5.6.3 檢查點機制 167 項目小結(jié) 169 課后練習(xí) 169 能力拓展 169 項目六 Spark Streaming處理流數(shù)據(jù) 171 項目概述 171 項目演示 171 思維導(dǎo)圖 171 任務(wù)6.1 初識流數(shù)據(jù)處理模塊 Spark Streaming 172 6.1.1 Spark Streaming的產(chǎn)生 172 6.1.2 Spark Streaming的工作原理 173 6.1.3 用Spark-Shell編寫**個 Spark Streaming程序 174 6.1.4 用IDEA工具寫**個 Spark Streaming程序 177 6.1.5 編寫Spark Streaming程序的基本步驟 178 任務(wù)6.2 讀取基礎(chǔ)數(shù)據(jù)源到DStream中 178 6.2.1 讀取文件流 178 6.2.2 讀取套接字流 180 6.2.3 讀取RDD隊列流 180 任務(wù)6.3 讀取Kafka數(shù)據(jù)到DStream中 182 6.3.1 Spark Streaming支持的高級數(shù)據(jù)源 182 6.3.2 了解Kafka的工作原理 182 6.3.3 Kafka的安裝與測試 183 6.3.4 編寫Spark Streaming程序找出超速車輛 185 任務(wù)6.4 DStream的轉(zhuǎn)換操作 187 6.4.1 DStream無狀態(tài)轉(zhuǎn)換操作 187 6.4.2 DStream有狀態(tài)轉(zhuǎn)換操作 190 任務(wù)6.5 DStream的輸出操作 193 6.5.1 DStream寫入到文本文件 194 6.5.2 DStream寫入到MySQL 數(shù)據(jù)庫的方法分析 195 6.5.3 車輛定位數(shù)據(jù)寫入到 MySQL數(shù)據(jù)庫 196 任務(wù)6.6 Spark Streaming實時處理電商用戶行為數(shù)據(jù) 198 6.6.1 數(shù)據(jù)集說明與準(zhǔn)備工作 199 6.6.2 任務(wù)整體思路 200 6.6.3 Kafka的相關(guān)準(zhǔn)備工作 200 6.6.4 創(chuàng)建MySQL數(shù)據(jù)庫、數(shù)據(jù)庫表 200 6.6.5 數(shù)據(jù)寫入Kafka主題中 201 6.6.6 Spark Streaming處理userbehavior 主題中的數(shù)據(jù) 202 6.6.7 運行結(jié)果分析 204 項目小結(jié) 204 課后練習(xí) 205 能力拓展 205 項目七 Spark ML實現(xiàn)電影推薦 206 項目概述 206 項目演示 206 思維導(dǎo)圖 206 任務(wù)7.1 初識Spark機器學(xué)習(xí) 207 7.1.1 機器學(xué)習(xí)概述 207 7.1.2 機器學(xué)習(xí)的應(yīng)用場景 208 7.1.3 Spark機器學(xué)習(xí)庫 208 任務(wù)7.2 使用Spark ML進(jìn)行數(shù)據(jù) 特征提取與轉(zhuǎn)換 209 7.2.1 特征提取 209 7.2.2 特征轉(zhuǎn)換 212 任務(wù)7.3 Spark分類與聚類 215 7.3.1 樸素貝葉斯分類 215 7.3.2 k-means聚類 218 任務(wù)7.4 使用協(xié)同過濾算法進(jìn)行電影推薦 220 7.4.1 推薦算法原理與分類 220 7.4.2 利用Spark ML實現(xiàn)電影推薦 221 項目小結(jié) 223 課后練習(xí) 223 能力拓展 224 參考文獻(xiàn) 226

展開全部

商品評論(0條)

寫書評賺書幣

暫無評論……

書友推薦