-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
大數據技術入門——Hadoop+Spark 版權信息
- ISBN:9787302591818
- 條形碼:9787302591818 ; 978-7-302-59181-8
- 裝幀:70g膠版紙
- 冊數:暫無
- 重量:暫無
- 所屬分類:>>
大數據技術入門——Hadoop+Spark 本書特色
(1)以實戰開發為導向,對基礎理論知識點與開發過程進行詳細講解。 (2)實戰案例豐富,涵蓋18 個完整項目案例和2個綜合案例,綜合案例可以加深對本書所學的知識點的理解和掌握。 (3)代碼詳盡,避免對 API 的形式展示,規避重復代碼。 (4)語言簡明易懂,由淺入深帶你學會以 Hadoop生態圈為核心的開發技術和大數據常見的機器學習算法。 16個完整的項目案例和兩個綜合案例,配有教學大綱等資源
大數據技術入門——Hadoop+Spark 內容簡介
本書基礎理論、應用開發以及實際案例相結合,圍繞Hadoop、Spark生態圈循序漸進地介紹關于大數據技術領域中的基礎知識、應用開發技術和基于Spark的常見機器學習算法,很后以兩個實戰案例全面、系統地應用了本書介紹的基礎知識和應用開發方法。全書共14章,分別為大數據概述、Hadoop簡介及安裝部署、HDFS、MapReduce計算框架、Hive數據倉庫、HBase分布式數據庫、Spark基礎、Spark RDD彈性分布式數據集、Spark SQL、Spark Streaming實時計算框架、Spark Streaming與Flume、Kafka的整合、Spark MLlib 機器學習、實戰案例——分布式優惠券后臺應用系統和實戰案例——新聞話題實時統計分析系統,書中的每個知識點都有相應的實現代碼和實例。 本書主要面向廣大從事大數據分析、應用開發、機器學習、數據挖掘的專業人員以及從事高校信息技術專業的教師和高等院校的在讀學生及相關領域的廣大科研人員。
大數據技術入門——Hadoop+Spark 目錄
目錄
第1章大數據概述
1.1大數據的研究背景
1.2大數據的定義及其技術特點
1.2.1大數據的定義
1.2.2大數據的基本特點
1.2.3典型的大數據處理需求與計算特征
1.3大數據處理的主要技術特點與難點
1.4研究大數據的意義
1.5本章小結
第2章Hadoop簡介及安裝部署
2.1Hadoop簡介及生態體系
2.2Hadoop集群架構
2.3Hadoop集群運行環境搭建
2.3.1Hadoop安裝配置過程
2.3.2驗證Hadoop的安裝
2.4本章小結
第3章HDFS
3.1相關基本概念
3.2HDFS存儲架構
3.2.1HDFS寫入流程
3.2.2HDFS讀取流程
3.3HDFS的優點與缺點
3.3.1HDFS的優點
3.3.2HDFS的缺點
3.4HDFS Shell常用命令
3.5HDFS的Java API
3.6本章小結
第4章MapReduce計算框架
4.1MapReduce核心思想
4.2MapReduce的工作原理
4.3MapReduce的運行機制
4.4MapReduce數據本地化
4.5MapReduce編程
4.5.1MapReduce運行模式
4.5.2MapReduce編程組件與數據類型
4.6MapReduce編程示例
4.6.1單詞計數
4.6.2倒排索引
4.7本章小結
第5章Hive數據倉庫
5.1Hive概述
5.1.1Hive簡介
5.1.2Hive的架構
5.1.3Hive的優缺點
5.2Hive的安裝
5.2.1安裝MySQL
5.2.2安裝Hive
5.3Hive數據庫相關操作
5.3.1Hive的數據類型
5.3.2Hive基礎SQL語法
5.4本章小結
第6章HBase分布式數據庫
6.1HBase概述
6.1.1HBase的架構
6.1.2HBase的特點
6.1.3HBase數據存儲方式
6.1.4HBase尋址機制
6.2HBase的安裝
6.3HBase數據模型
6.4HBase的Shell操作
6.5HBase常用的Java API及示例程序
6.5.1HBase常用的Java API
6.5.2程序示例
6.6本章小結
第7章Spark基礎
7.1Spark概述
7.1.1Spark的主要特點
7.1.2Spark生態系統
7.1.3Spark相對于Hadoop MapReduce的優勢
7.2Spark的安裝
7.2.1Spark的部署方式
7.2.2Spark的安裝
7.3Spark運行架構與原理
7.4Spark運行流程
7.5本章小結
第8章Spark RDD彈性分布式數據集
8.1RDD的設計與運行原理
8.1.1RDD的概念
8.1.2RDD的分區
8.1.3RDD的依賴關系
8.1.4RDD在Spark中的運行流程
8.1.5RDD容錯機制
8.2RDD API編程
8.2.1RDD的創建
8.2.2RDD的操作
8.3程序示例: 倒排索引
8.4本章小結
第9章Spark SQL
9.1Spark SQL概述
9.1.1Spark SQL簡介
9.1.2Spark SQL的架構
9.2DataFrame
9.2.1DataFrame簡介
9.2.2DataFrame的創建
9.2.3DataFrame的常用操作
9.3Dataset
9.4Spark SQL編程
9.4.1DataFrame操作
9.4.2Spark SQL 讀寫MySQL數據庫
9.4.3Spark SQL 讀寫Hive
9.5本章小結
第10章 Spark Streaming實時計算框架
10.1Spark Streaming概述
10.1.1流數據和流計算
10.1.2Spark Streaming簡介
10.1.3DStream簡介
10.2DStream編程
10.2.1DStream轉換操作
10.2.2DStream輸出操作相關的方法
10.3DStream編程示例
10.3.1DStream編程基本步驟——文件流
10.3.2無狀態轉換操作
10.3.3有狀態轉換操作
10.3.4輸出操作
10.4本章小結
第11章Spark Streaming與Flume、Kafka的整合
11.1Flume簡介及安裝
11.1.1Flume簡介
11.1.2Flume的安裝
11.2Kafka簡介及安裝
11.2.1Kafka簡介
11.2.2Kafka的安裝
11.3Flume與Kafka的區別和側重點
11.4Spark Streaming與Flume、Kafka的整合與開發
11.5本章小結
第12章Spark MLlib機器學習
12.1機器學習的概念
12.1.1機器學習的定義
12.1.2機器學習的分類
12.2MLlib簡介
12.3Spark MLlib的數據類型
12.3.1本地向量
12.3.2標注點
12.3.3本地矩陣
12.4Spark MLlib機器學習示例
12.4.1特征抽取——TFIDF
12.4.2分類與回歸——線性回歸
12.4.3分類與回歸——邏輯回歸
12.4.4協同過濾——電影推薦
12.5本章小結
第13章實戰案例——分布式優惠券后臺應用系統
13.1系統簡介
13.2整體架構
13.3表結構設計
13.4系統實現
13.4.1商戶投放子系統
13.4.2用戶消費子系統
13.5系統運行測試
13.5.1啟動系統
13.5.2商戶投放子系統測試
13.5.3用戶消費子系統測試
13.6本章小結
第14章實戰案例——新聞話題實時統計分析系統
14.1系統簡介
14.2系統總體架構
14.3表結構設計
14.4系統實現
14.4.1模擬日志生成程序
14.4.2Flume配置
14.4.3配置Kafka
14.4.4Spark Streaming開發
14.4.5WebSocket和前端界面開發
14.5系統運行測試
14.6本章小結
參考文獻
大數據技術入門——Hadoop+Spark 作者簡介
于海浩,男,1974年1月生,高級工程師,黑龍江工程學院計算機學院教師,主講大數據實踐和人工智能課程,研究方向為大數據處理與挖掘,深度學習。主持或參與國家、省部級、廳局級項目6項。以第一作者發表論文10余篇,作為高級項目經理和企業管理者組織了黑龍江省電力營銷系統、地下管廊運維監管平臺、智慧城管、城鎮職工醫療系統的項目管理工作,有任企業技術總監的職務經歷。
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
巴金-再思錄
- >
我從未如此眷戀人間
- >
史學評論
- >
我與地壇
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
- >
有舍有得是人生
- >
羅庸西南聯大授課錄