包郵 Spark大數(shù)據(jù)處理技術(shù)(普通高等教育數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)教材)
-
>
全國(guó)計(jì)算機(jī)等級(jí)考試最新真考題庫模擬考場(chǎng)及詳解·二級(jí)MSOffice高級(jí)應(yīng)用
-
>
決戰(zhàn)行測(cè)5000題(言語理解與表達(dá))
-
>
軟件性能測(cè)試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強(qiáng)教科書(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
Spark大數(shù)據(jù)處理技術(shù)(普通高等教育數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)教材) 版權(quán)信息
- ISBN:9787522604855
- 條形碼:9787522604855 ; 978-7-5226-0485-5
- 裝幀:一般膠版紙
- 冊(cè)數(shù):暫無
- 重量:暫無
- 所屬分類:>
Spark大數(shù)據(jù)處理技術(shù)(普通高等教育數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)教材) 內(nèi)容簡(jiǎn)介
本書面向大數(shù)據(jù)技術(shù)專業(yè),遵循知識(shí)性、實(shí)用性、系統(tǒng)性、條理性、連貫性和優(yōu)選性的原則,力求激發(fā)讀者的興趣,注重實(shí)踐性環(huán)節(jié)教學(xué),注重各知識(shí)點(diǎn)之間的銜接,精心組織內(nèi)容,做到由淺入深、突出重點(diǎn)。 本章共9章,第1章為Spark基礎(chǔ),主要包括Spark基礎(chǔ)知識(shí)、Spark應(yīng)用場(chǎng)景以及Spark生態(tài)系統(tǒng)等內(nèi)容;第2章為Scala語言基礎(chǔ)和面向?qū)ο缶幊蹋⊿cala編程基礎(chǔ)、Scala數(shù)組和集合以及映射、Scala對(duì)象和多繼承等內(nèi)容;第3章為Spark設(shè)計(jì)與運(yùn)行原理,包括Spark架構(gòu)、Spark Core組成、Spark編程模型和計(jì)算模型等內(nèi)容;第4章為Spark環(huán)境搭建和使用,包括Spark系列軟件環(huán)境配置(JDK、Hadoop、MySQLServer、Hive、ZooKeeper、Scala、Kafka、Spark)和Spark-shell交互式命令工具使用等內(nèi)容;第5章為Spark RDD彈性分布式數(shù)據(jù)集,包括RDD創(chuàng)建方式、RDD轉(zhuǎn)換算子和行動(dòng)算子操作方法等內(nèi)容;第6章為Spark SQL結(jié)構(gòu)化數(shù)據(jù)處理引擎,包括DataFrame和DataSet的創(chuàng)建和操作以及利用Spark SQL操作MySQL數(shù)據(jù)源等內(nèi)容;第7章為Spark Streaming實(shí)時(shí)流處理引擎,包括Spark Streaming程序開發(fā)、DStream不錯(cuò)數(shù)據(jù)源使用和數(shù)據(jù)轉(zhuǎn)換操作等內(nèi)容;第8章為Spark MLlib機(jī)器學(xué)習(xí),包括機(jī)器學(xué)習(xí)基礎(chǔ)、Spark MLlib機(jī)器學(xué)習(xí)庫和常用算法等內(nèi)容;第9章為訂單交易監(jiān)控系統(tǒng),主要完成訂單交易實(shí)時(shí)監(jiān)控臺(tái)的搭建,通過綜合案例全面應(yīng)用了Spark大數(shù)據(jù)處理技術(shù)中幾乎所有知識(shí)點(diǎn),幫助讀者學(xué)習(xí)使用Spark進(jìn)行大數(shù)據(jù)技術(shù)開發(fā)和應(yīng)用。 本書可作為本專科或高職院校學(xué)生大數(shù)據(jù)技術(shù)課程教材,也可供大數(shù)據(jù)技術(shù)愛好者或其他對(duì)大數(shù)據(jù)技術(shù)感興趣的人員學(xué)習(xí)。 本書配有電子課件,讀者可以從中國(guó)水利水電出版社網(wǎng)站(www.waterpub.com.cn)或萬水書苑網(wǎng)站(www.wsbookshow.com)免費(fèi)下載。
Spark大數(shù)據(jù)處理技術(shù)(普通高等教育數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)教材) 目錄
第1章 Spark基礎(chǔ)
1.1 初識(shí)Spark
1.1.1 Spark簡(jiǎn)介
1.1.2 Spark發(fā)展
1.2 Spark應(yīng)用場(chǎng)景
1.3 Spark生態(tài)系統(tǒng)
1.4 Spark與Hadoop對(duì)比
1.5 Spark多語言編程
本章小結(jié)
練習(xí)一
第2章 Scala語言基礎(chǔ)
2.1 Scala語言概述
2.1.1 Scala語言簡(jiǎn)介
2.1.2 Scala編譯器安裝
2.2 Scala命名規(guī)范
2.2.1 基本語法
2.2.2 Scala關(guān)鍵字
2.2.3 Scala注釋
2.3 變量
2.3.1 val變量
2.3.2 var變量
2.4 數(shù)據(jù)類型和運(yùn)算符
2.4.1 數(shù)據(jù)類型
2.4.2 運(yùn)算符
2.5 Scala控制結(jié)構(gòu)
2.5.1 if…else語句
2.5.2 循環(huán)語句
2.6 函數(shù)的定義和調(diào)用
2.6.1 內(nèi)置函數(shù)和自定義函數(shù)
2.6.2 函數(shù)的參數(shù)
2.7 Scala的lazy值
2.8 異常Exception的處理
2.9 數(shù)組
2.9.1 定長(zhǎng)數(shù)組和變長(zhǎng)數(shù)組
2.9.2 遍歷數(shù)組
2.9.3 數(shù)組轉(zhuǎn)換
2.9.4 數(shù)組常用方法
2.10 元組
2.10.1 創(chuàng)建元組
2.10.2 元組的訪問和遍歷
2.10.3 拉鏈操作
2.11 集合
2.11.1 列表(List)
2.11.2 集合(Set)
2.11.3 映射(Map)
2.12 類
2.12.1 類的定義
2.12.2 get方法和set方法
2.12.3 構(gòu)造器
2.12.4 內(nèi)部類
2.13 單例對(duì)象和伴生對(duì)象
2.13.1 單例(object)對(duì)象
2.13.2 伴生對(duì)象
2.13.3 apply方法
2.14 Scala中的繼承
2.14.1 父類具有無參構(gòu)造器的繼承
2.14.2 父類具有帶參構(gòu)造器的繼承
2.15 抽象
2.16 Scala中的特質(zhì)
2.16.1 將特質(zhì)作為接口使用
2.16.2 在特質(zhì)中定義具體的方法
2.16.3 混合使用特質(zhì)的具體方法和抽象方法
2.17 Scala包和引用
2.17.1 創(chuàng)建包
2.17.2 引用
2.17.3 包重命名和隱藏方法
本章小結(jié)
練習(xí)二
第3章 Spark設(shè)計(jì)與運(yùn)行原理
3.1 Spark架構(gòu)設(shè)i計(jì)
3.1.1 Spark相關(guān)術(shù)誘
3.1.2 Spark架構(gòu)
3.1.3 Spark運(yùn)行流程
3.2 Spark核心功能
3.2.1 Spark Core組成
3.2.2 Spark編程模型
3.2.3 Spark計(jì)算模型
3.3 Spark運(yùn)行模式
3.3.1 Local(本地)模式
3.3.2 Standalone(獨(dú)立)模式
3.3.3 Mesos(Spark on Mesos)模式
3.3.4 Yarm(Spark on Yam)模式
本章小結(jié)
練習(xí)三
第4章 Spark環(huán)境搭建和使用
4.1 Spark開發(fā)環(huán)境閥述
4.2 操作系統(tǒng)及其網(wǎng)絡(luò)環(huán)境準(zhǔn)備
4.2.1 操作系統(tǒng)環(huán)境
4.2.2 遠(yuǎn)程登錄
4.2.3 Limux系統(tǒng)軟件源配置
4.2.4 安裝和配置第二臺(tái)和第三臺(tái)虛擬機(jī)
4.3 Spark環(huán)境搭建
4.3.1 安裝JDK
4.3.2 安裝Hadoop
4.3.3 安裝MySQL Server
4.3.4 安裝Hive
4.3.5 安裝ZooKeeper
4.3.6 安裝Scala
4.3.7 安裝Kafka
4.3.8 安裝Spark
4.4 Spark集群環(huán)境測(cè)試
4.4.1 使用Spark-submit提交任務(wù)
4.4.2 使用Spark-shell交互式命令工具
本章小結(jié)
練習(xí)四
策5章 Spark RDD彈性分布式數(shù)據(jù)集
5.1 RDD簡(jiǎn)介
5.1.1 RDD的特征
5.1.2 詞頻統(tǒng)計(jì)(WordCount)案例實(shí)現(xiàn)過程
S.1.3 RDD的創(chuàng)建
5.2 常用操作
5.2.1 常用的轉(zhuǎn)換
5.2.2 常用的動(dòng)作
5.2.3 實(shí)例操作
5.3 RDD的分區(qū)
5.3.1 分區(qū)的概念
5.3.2 分區(qū)原則和方法
3.4 持久化
5.4.1 持久化存儲(chǔ)級(jí)別
5.4.2 持久化存儲(chǔ)級(jí)別的選擇
5.5 容錯(cuò)機(jī)制
3.6 綜合實(shí)例
本章小結(jié)
練習(xí)五
第6章 Spark SQL結(jié)構(gòu)化數(shù)據(jù)處理引單
6.1 Spark SQL的基礎(chǔ)知識(shí)
6.1.1 Spark SQL簡(jiǎn)介
6.1.2 Spark SQL數(shù)據(jù)抽象
6.1.3 程序主入口Spark:Session
6.2 DataFrame
6.2.1 DataFrame簡(jiǎn)介
6.2.2 創(chuàng)建DataFrame
6.2.3 DataFrame查看操作
6.2.4 DataFrame查詢操作
6.2.5 DataFrame輸出操作
6.3 DataSet
6.3.1 DataSet簡(jiǎn)介
6.3.2 創(chuàng)建DataSet
6.4 Spark SQL操作數(shù)據(jù)源
本章小結(jié)
練習(xí)六
第7章 Spark Streaming實(shí)時(shí)流處理引單
7.1 離線計(jì)算與實(shí)時(shí)計(jì)算
7.1.1 離線計(jì)算
7.1.2 實(shí)時(shí)計(jì)算
7.1.3 離線計(jì)算與實(shí)時(shí)計(jì)算比較
7.2 初探Spark Streaming
7.2.1 Spark Streaming簡(jiǎn)介
7.2.2 Spark Streaming工作原理
7.2.3 Spark Streaming入門程序
7.3 Spark Streaming程序開發(fā)
7.3.1 Spark Streaming環(huán)境準(zhǔn)備
7.3.2 Spark Streaming項(xiàng)目搭建
7.3.3 Spark Streaming核心代碼
7.3.4 Spark Streaming啟動(dòng)及測(cè)試
7.4 DStream輸入
7.4.1 離散流(DStream)
7.4.2 DStream輸入源
7.4.3 文件流數(shù)據(jù)源
7.4.4 RDD隊(duì)列流
7.4.5 Spark Streaming整合Flume
7.4.6
Spark大數(shù)據(jù)處理技術(shù)(普通高等教育數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)教材) 作者簡(jiǎn)介
劉仁山,呼倫貝爾學(xué)院計(jì)算機(jī)學(xué)院教授。主要成果如下: 論文: (1)劉仁山,孟祥宏. 含自適應(yīng)閾值的ARMA的網(wǎng)絡(luò)流量異常檢測(cè)算法[J]. 信陽師范學(xué)院學(xué)報(bào)(自然版),2013,26(2):296-300.中文核心(2)劉仁山,孟祥宏. 基于PKI的身份認(rèn)證系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 制造業(yè)自動(dòng)化,2013,35(3):113-116.中文核心(3)劉仁山,孟祥宏. 基于時(shí)間特征的網(wǎng)絡(luò)流量異常檢測(cè)[J]. 遼寧工程技術(shù)大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,32(4):544-548.中文核心(4)劉仁山,孟祥宏. 信息系統(tǒng)安全評(píng)價(jià)方法研究[J]. 遼寧工程技術(shù)大學(xué)學(xué)報(bào)(自然科學(xué)版),2014.5.中文核心(5)劉仁山,孟祥宏. 主機(jī)系統(tǒng)安全態(tài)勢(shì)實(shí)時(shí)評(píng)估方法的研究[J]. 河南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2014.7.中文核心(6)劉仁山,孟祥宏. 攻擊圖和HMM結(jié)合的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)評(píng)估方法的研究[J]. 信陽師范學(xué)院學(xué)報(bào)(自然版),2015.1.中文核心(7)Design on the Cultivating mode of Applied Talents Based on the OBE一文已被IEEE2019國(guó)際會(huì)議檢索.(8)劉仁山,基于OBE的應(yīng)用型人才培養(yǎng)模式研究.職業(yè)技術(shù)教育,2020.5.中文核心項(xiàng)目: (1)內(nèi)蒙古教育科學(xué)規(guī)劃領(lǐng)導(dǎo)小組辦公室 高等學(xué)校產(chǎn)學(xué)研合作教育(合作開辦專業(yè)、共建教學(xué)資源、合作育人、合作就業(yè))的研究 2017.5-2018.5(2)教育部高教司 東方智業(yè)產(chǎn)學(xué)合作新工科建設(shè)項(xiàng)目 2017.12 -2018.12(3)教育部高教司 西普教育信息安全實(shí)驗(yàn)室建設(shè)項(xiàng)目 2017.12 -2018.12(4)呼倫貝爾學(xué)院 《基于OBE工程教育與MIMPS教學(xué)法結(jié)合的校企合作專業(yè)培養(yǎng)模式研究》 2018.10-2021.5(5)內(nèi)蒙古宣傳部 《內(nèi)蒙古職業(yè)教育和培訓(xùn)體系建設(shè)研究》 2018.11-2020.5(6)內(nèi)蒙古教育廳 《等保合規(guī)背景下的軟件定義網(wǎng)絡(luò)安全架構(gòu)應(yīng)用與研究》2020.12-2023.12 主講課程: (1)計(jì)算機(jī)網(wǎng)絡(luò)。 (2)計(jì)算機(jī)網(wǎng)絡(luò)安全。 (3)無線網(wǎng)絡(luò)技術(shù)。 (4)信息安全技術(shù)。
- >
羅曼·羅蘭讀書隨筆-精裝
- >
羅庸西南聯(lián)大授課錄
- >
經(jīng)典常談
- >
回憶愛瑪儂
- >
姑媽的寶刀
- >
中國(guó)人在烏蘇里邊疆區(qū):歷史與人類學(xué)概述
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
莉莉和章魚