Hadoop & Spark大數據開發實戰 版權信息
- ISBN:9787517056430
- 條形碼:9787517056430 ; 978-7-5170-5643-0
- 裝幀:一般膠版紙
- 冊數:暫無
- 重量:暫無
- 所屬分類:>>
Hadoop & Spark大數據開發實戰 本書特色
大數據讓我們以一種前所未有的方式,通過對海量數據進行分析,獲得有巨大價值的產品和服務,*終形成變革之力。本書圍繞Hadoop和Spark這兩個主流技術進行講解,主要內容包括Hadoop環境配置、分布式文件系統HDFS、分布式計算框架MapReduce、資源調度框架YARN與Hadoop新特性、大數據數據倉庫Hive、離線處理輔助系統、Spark
Core、 Spark SQL、Spark
Streaming等知識。
為保證*學習效果,本書緊密結合實際應用,利用大量案例說明和實踐,提煉含金量十足的開發經驗。本書使用Hadoop和Spark進行大數據開發,并配以完善的學習資源和支持服務,包括視頻教程、案例素材下載、學習交流社區、討論組等終身學習內容,為開發者帶來全方位的學習體驗,更多技術支持請訪問課工場官網:www.kgc.cn。
Hadoop & Spark大數據開發實戰 內容簡介
大數據讓我們以一種前所未有的方式,通過對海量數據進行分析,獲得有巨大價值的產品和服務,*終形成變革之力。本書圍繞Hadoop和Spark這兩個主流技術進行講解,主要內容包括Hadoop環境配置、分布式文件系統HDFS、 分布式計算框架MapReduce、資源調度框架YARN與Hadoop新特性、大數據數據倉庫Hive、離線處理輔助系統、Spark Core、 Spark SQL、Spark Streaming等知識。為保證*優學 習效果,本書緊密結合實際應用,利用大量案例說明和實踐,提煉含金量十足的開發經驗。本書使用Hadoop和Spark進行大數據開發,并配以完善的學習資源和支持服務,包括視頻教程、案例素材下載、學習交流社區、討論組等終身學 習內容,為開發者帶來全方位的學習體驗,更多技術支持請訪問課工場官網:www.kgc.cn。
Hadoop & Spark大數據開發實戰 目錄
前言關于引用作品版權說明第1章 初識Hadoop 本章任務 任務1 大數據概述 …………………
1.1.1 大數據基本概念 1.1.2 大數據對于企業帶來的挑戰……
任務2 Hadoop概述……… ……
1.2.1 Hadoop簡介 ……
1.2.2 HadooD生態系統 ………
1.2.3 大數據應用案例 ………
任務3 Hadoop環境措建… ……
1.3.1 虛擬機安裝 … … …
1.3.2 Linux系統安裝 ……
1.3.3 Hadoop偽分布式環境搭建 ……
本章總結 …… ……………………
本章作業 …………
第2章 分布式文件系統HDFS 本章任務 …… …… …………
任務1 初識HDFS …………………
2.1.1 HDFS概述 ………
2.1.2 HDFS基本概念………………
2.1.3 HDFS體系結構… … ……
任務2 HDFS操作 ………………
2.2.1 HDFS shell訪問 ………
2.2.2 Java API訪問……… ……
任務3 HDFS運行機制……………
2.3.1 HDFS文件讀寫流程 ………
2.3.2 HDFS副本機制 …………
2.3.3 數據負載均衡…… ………
2.3.4 機架感知 … …
任務4 HDFS進階………………
2.4.1 Hadoop序列化 …
2.4.2 基于文件的數據結構SequenceFile 2.4.3 基于文件的數據結構MapFile 本章總結 … …………
本章作業…………… …… ………
第3章 分布式計算框架MapReduce…
本章任務……………… … ………
任務1 MapReduce編程模型………
3.1.1 MapReduce概述…
3.1.2 MapReduce編程模型 …
3.1.3 MapReduce Woracount編程實例 任務2 MapReduce進階……………
3.2.1 MapReduce類型……
3.2.2 MapReduce輸入格式……
3.2.3 MapReduce輸出格式 3.2.4 Combiner …
3.2.5 Partitioner …
3.2.6 RecordReader … …
任務3 MapReduce高級編程……
3.3.1 Join的MapReduce實現…
3.3.2 排序的MapReduce實現……
3.3.3 二次排序的MapReduce實現……
3.3.4 合并小文件的MapReduce實現 本章總結…… …………… ……
本章作業……… …… ……
第4章 YARN與Hadoop新特性 本章任務……………… ………
任務1 初識資源調度框架YARN…
4.1.1 YARN產生背景 4.1.2 初識YARN 4.1.3 YARN運行機制 任務2 HDFS新特性 4.2.1 HDFS NameNOde HA 4.2.2 HDFS NameN0de Federation 4.2.3 HDFSSnaoshots 4.2.4 WebHOFS RESTAPI 4.2.5 DistCp 任務3 YARN新特性 …
4.3.1 ResourceManager Restart 4.3.2 ResourceManager HA 本章總結 … … …
本章作業 … … ……
第5章 大數據數據倉庫Hive 本章任務 … …
任務1 初識Hive … …
5.1.1 Hiye簡介 5.1.2 Hiye架構 5.1.3 Hiye與Hadoop的關系 5.1.4 Hive與傳統關系型數據庫對比 5.1.5 Hive數據存儲 5.1.6 Hive環境部署 任務2 Hive基本操作… …
5.2.1 DDL操作 5.2.2 DML操作 5.2.3 Hive shell操作 任務3 Hive進階 … …
5.3.1 Hive函數 5.3.2 Hive常用調優策略 本章總結 … ………
本章作業……… …
第6章 離線處理輔助系統 本章任務… … …
任務1 使用Sqoop完成數據遷移 6.1.1 Sqoop簡介 6.1.2 導入MysQL數據到HDFS 6.1.3 導出HOFS數據到MySQL 6.1.4 導入MySQL數據到Hive 6.1.5 Sqoop中Job的使用 任務2 工作流調度框架Azkaban 6.2.1 Azkaban簡介 6.2.2 Azkaban部署 6.2.3 Azkaban實戰 本章總結 本章作業第7章 Spark入門 本章任務 …… ……
任務1 初識Spark ………
7.1.1 Spark概述 7.1.2 Spark優點 7.1.3 Spark生態系統BDAs 任務2 Scala入門…
7.2.1 Scala介紹 7.2.2 Scala函數 7.2.3 Scala面向對象 7.2.4 Scala集合 7.2.5 Scala進階 任務3 獲取Spark源碼并進行編譯 7.3.1 獲取Spark源碼 7.3.2 Spark源碼編譯 任務4 第次與Spark親密接觸…
7.4.1 Spark環境部署 7.4.2 Spark完成詞頻統計分析 本章總結 …… …
本章作業 … …
第8章 SparkCore……………
本章任務 …… …………
任務1 SparK的基石RDD …
8.1.1 RDD概述 8.1.2 RDD常用創建方式…
8.1.3 RDD的轉換 8.1.4 ROD的動作 8.1.5 RDD的依賴 任務2 RDD進階 …
8.2.1 RDD緩存 8.2.2 共享變量(Shared Variables) 8.2.3 Spark核心概念 8.2.4 Spark運行架構 任務3 基于RDD的Spark編程 8.3.1 開發前置準備 8.3.2 使用SparkCore開發詞頻計數WordCount 8.3.3 使用SparkCore進行年齡統計 本章總結 本章作業第9章 Spark SQL 本章任務 任務1 SparkSQL前世今生 9.1.1 為什么需要SQL 9.1.2 常用的SQL on Hadoop框架 9.1.3 Spark SQL概述 任務2 Spark SQL編程 9.2.1 SparkSQL編程入口 9.2.2 DataFrame是什么 9.2.3 DataFrame編程 任務3 SparkSQL進階 9.3.1 Spark SQL外部數據源操作 9.3.2 SparkSQL函數的使用 9.3.3 Spark SQL常用調優 本章總結 本章作業第10章 Spark Streaming 本章任務 任務1 初始流處理框架及Spark Streaming 10.1.1 流處理框架概述 10.1.2 Spark Streaming概述 任務2 Spark Streaming編程 10.2.1 Spark Streaming核心概念 10.2.2 使用Spark Streaming編程 任務3 Spark Streaming進階 10.3.1 Spark Streaming整合Flume 10.3.2 Spark Streaming整合Kafka 10.3.3 Spark Streaming常用優化策略 本章總結 本章作業
展開全部
Hadoop & Spark大數據開發實戰 作者簡介
肖睿,北京大學教育學博士,課工場kgc.cn創始人,總經理。長期服務于中國IT職業教育領軍企業北大青鳥Aptech,現任北大青鳥Aptech副總裁,職業教育研究院院長。
肖睿先生曾就讀于吉林大學少年班,專攻人工智能專家系統方向,作為國內頂尖軟件技術專家,早期曾領導北大方正核心軟件產品研發,并受聘為北京大學軟件學院特約講師、北京創客總部創業導師、教育部專業和課程評審專家、人力資源和社會保障部崗位標準評審專家。擁有20年IT職業教育產品管理和企業管理經驗,是中國IT職業教育領軍人物。