中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
Spark大數據編程實用教程 版權信息
- ISBN：9787111651000
- 條形碼：9787111651000 ; 978-7-111-65100-0
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
Spark大數據編程實用教程 本書特色
本書是一本講解Spark基礎應用及編程的實用教程，基于 Spark 2.3 版本，內容包括 Spark 與大數據、構建 Spark 運行環境、開發一個Spark 程序、深入理解 Spark 程序代碼、RDD 編程、Spark SQL 結構化數據處理、Spark Streaming、Structured Streaming、SparkR和GraphX。本書總結了Spark 學習的關鍵點；提出了 Spark 快速學習路線圖；提供配套的 Spark前置課程學習資源鏈接，包括虛擬機、Linux 和 Shell 免費高清視頻、《零基礎快速入門Scala》免費電子書等，幫助零基礎讀者迅速夯實Spark基礎。
本書配以大量的示例、源代碼和注釋，可以幫助讀者快速、全面而又深入地掌握Spark編程技能。
本書既可作為高等院校大數據、云計算和人工智能相關專業的教材，也可以作為Spark學習者和大數據研發人員的技術參考書。
Spark大數據編程實用教程 內容簡介
本書是一本講解Spark基礎應用及編程的實用教程，基于 Spark 2.3 版本，內容包括 Spark 與大數據、構建 Spark 運行環境、開發一個Spark 程序、深入理解 Spark 程序代碼、RDD 編程、Spark SQL 結構化數據處理、Spark Streaming、Structured Streaming、SparkR和GraphX。本書總結了Spark 學習的關鍵點；提出了 Spark 快速學習路線圖；提供配套的 Spark前置課程學習資源鏈接，包括虛擬機、Linux 和 Shell 免費高清視頻、《零基礎快速入門Scala》免費電子書等，幫助零基礎讀者迅速夯實Spark基礎。本書配以大量的示例、源代碼和注釋，可以幫助讀者快速、全面而又深入地掌握Spark編程技能。本書既可作為高等院校大數據、云計算和人工智能相關專業的教材，也可以作為Spark學習者和大數據研發人員的技術參考書。
Spark大數據編程實用教程 目錄
目 錄
前言
第1章 Spark與大數據 1
1.1 大數據開發基礎 1
1.1.1 什么是大數據 1
1.1.2 大數據開發的通用步驟 2
1.1.3 大數據開發技術 4
1.2 初識Spark 10
1.2.1 Spark是什么 10
1.2.2 Spark的技術特點 11
1.3 Spark技術棧 12
1.4 Spark重要組件 13
1.4.1 Spark Core 13
1.4.2 Spark SQL 14
1.4.3 GraphX 15
1.4.4 流數據處理 16
1.4.5 SparkR 17
1.4.6 MLlib/ML 18
1.4.7 Spark交互工具 18
1.5 Spark和Scala 19
1.5.1 Scala語言簡介 19
1.5.2 為什么用Scala開發Spark框架 20
1.5.3 為什么用Scala開發Spark程序 20
1.5.4 Scala開發Spark程序所涉及的技術 20
1.5.5 Scala語言基礎 21
1.6 如何快速掌握Spark 21
1.6.1 Spark學習的痛點 21
1.6.2 Spark快速學習路線圖 22
1.6.3 Spark學習中的關鍵點 23
1.6.4 利用本書相關資源高效學習Spark 23
1.6.5 本書所使用的軟件和版本 25
1.7 練習 25
第2章 構建Spark運行環境 26
2.1 Spark程序運行時架構 26
2.2 構建Spark大數據運行環境 28
2.2.1 構建HDFS 28
2.2.2 構建Yarn 30
2.2.3 構建Spark集群 31
2.3 運行Spark程序（Local方式） 31
2.4 運行Spark程序（分布式方式） 32
2.4.1 Spark on Yarn 32
2.4.2 Spark on Standalone 36
2.5 Spark程序在spark-shell上運行 41
2.6 使用Web UI監控Spark程序運行 43
2.7 擴展集群節點 48
2.8 練習 49
第3章 開發**個Spark程序 51
3.1 在命令行模式下開發Spark程序 51
3.1.1 構建Scala程序編譯環境 51
3.1.2 使用Vim編寫Spark程序 53
3.1.3 使用命令編譯、打包Spark程序 54
3.1.4 運行Spark程序 56
3.1.5 使用java命令運行Spark程序 57
3.1.6 Spark程序編譯、運行、部署的關鍵點 58
3.2 使用IDEA開發Spark程序 58
3.2.1 IDEA安裝和基本使用 59
3.2.2 使用IDEA編輯Spark代碼 60
3.2.3 IDEA編譯、打包 62
3.2.4 IDEA遠程提交Spark程序 63
3.3 練習 64
第4章 深入理解Spark程序代碼 66
4.1 Spark程序代碼結構 66
4.2 Spark程序代碼的核心概念 68
4.2.1 RDD 68
4.2.2 Application 68
4.2.3 Job 69
4.2.4 DAG 70
4.2.5 Stage 72
4.2.6 Task 76
4.2.7 Application、Job、Stage和Task的并行粒度和并行條件 77
4.3 Spark程序代碼執行過程 77
4.4 練習 85
第5章 RDD編程 86
5.1 RDD核心概念 86
5.1.1 Transformation的基本概念 87
5.1.2 Action的基本概念 88
5.1.3 Partition的基本概念 88
5.2 創建RDD 89
5.3 RDD Partition 93
5.4 Transformation操作 107
5.5 Action操作 130
5.6 RDD的cache/persist和checkpoint操作 136
5.7 練習 140
第6章 Spark SQL結構化數據處理 142
6.1 Spark SQL的核心概念 142
6.2 Spark SQL數據處理概述 147
6.3 構建Spark SQL運行環境 150
6.4 DataFrame/Dataset快速上手 157
6.5 DataFrame/Dataset與數據源的轉換 165
6.6 DataFrame/Dataset常用API 198
6.7 SQL操作 223
6.8 練習 234
第7章 Spark Streaming 236
7.1 Spark Streaming基礎 236
7.2 編寫一個Spark Streaming程序 241
7.3 Spark Streaming Web UI的使用 244
7.4 多路流數據合并處理示例 250
7.5 DStream Transformation操作 255
7.6 DStream Output 操作 262
7.7 練習 264
第8章 Structured Streaming 265
8.1 Structured Streaming基礎 265
8.2 Structured Streaming接入Text File數據源 268
8.3 Structured Streaming接入Rate數據源 273
8.4 使用Schema解析JSON格式數據源 274
8.5 使用DataFrame/Dataset處理流數據 277
8.6 Structured Streaming Window操作 282
8.7 Structured Streaming Watermarking操作 288
8.8 Structured Streaming JOIN操作 290
8.9 練習 304
第9章 SparkR 305
9.1 SparkR基礎 305
9.2 構建SparkR程序開發和運行環境 307
9.3 SparkR代碼的執行方式 308
9.4 SparkR的基本使用 314
9.5 SparkR機器學習算子 323
9.6 利用SparkR實現單詞統計和圖形輸出 326
9.7 練習 329
第10章 GraphX 330
10.1 GraphX基礎 330
10.2 GraphX的基本數據結構 335
10.3 GraphX實現*短路徑算法——SGDSP 354
10.4 GraphX Pregel的原理及使用 361
10.5 GraphX Pregel實現*短路徑算法——SGPSP 366
10.6 練習 370
參考文獻 372
前言
第1章 Spark與大數據 1
1.1 大數據開發基礎 1
1.1.1 什么是大數據 1
1.1.2 大數據開發的通用步驟 2
1.1.3 大數據開發技術 4
1.2 初識Spark 10
1.2.1 Spark是什么 10
1.2.2 Spark的技術特點 11
1.3 Spark技術棧 12
1.4 Spark重要組件 13
1.4.1 Spark Core 13
1.4.2 Spark SQL 14
1.4.3 GraphX 15
1.4.4 流數據處理 16
1.4.5 SparkR 17
1.4.6 MLlib/ML 18
1.4.7 Spark交互工具 18
1.5 Spark和Scala 19
1.5.1 Scala語言簡介 19
1.5.2 為什么用Scala開發Spark框架 20
1.5.3 為什么用Scala開發Spark程序 20
1.5.4 Scala開發Spark程序所涉及的技術 20
1.5.5 Scala語言基礎 21
1.6 如何快速掌握Spark 21
1.6.1 Spark學習的痛點 21
1.6.2 Spark快速學習路線圖 22
1.6.3 Spark學習中的關鍵點 23
1.6.4 利用本書相關資源高效學習Spark 23
1.6.5 本書所使用的軟件和版本 25
1.7 練習 25
第2章 構建Spark運行環境 26
2.1 Spark程序運行時架構 26
2.2 構建Spark大數據運行環境 28
2.2.1 構建HDFS 28
2.2.2 構建Yarn 30
2.2.3 構建Spark集群 31
2.3 運行Spark程序（Local方式） 31
2.4 運行Spark程序（分布式方式） 32
2.4.1 Spark on Yarn 32
2.4.2 Spark on Standalone 36
2.5 Spark程序在spark-shell上運行 41
2.6 使用Web UI監控Spark程序運行 43
2.7 擴展集群節點 48
2.8 練習 49
第3章 開發**個Spark程序 51
3.1 在命令行模式下開發Spark程序 51
3.1.1 構建Scala程序編譯環境 51
3.1.2 使用Vim編寫Spark程序 53
3.1.3 使用命令編譯、打包Spark程序 54
3.1.4 運行Spark程序 56
3.1.5 使用java命令運行Spark程序 57
3.1.6 Spark程序編譯、運行、部署的關鍵點 58
3.2 使用IDEA開發Spark程序 58
3.2.1 IDEA安裝和基本使用 59
3.2.2 使用IDEA編輯Spark代碼 60
3.2.3 IDEA編譯、打包 62
3.2.4 IDEA遠程提交Spark程序 63
3.3 練習 64
第4章 深入理解Spark程序代碼 66
4.1 Spark程序代碼結構 66
4.2 Spark程序代碼的核心概念 68
4.2.1 RDD 68
4.2.2 Application 68
4.2.3 Job 69
4.2.4 DAG 70
4.2.5 Stage 72
4.2.6 Task 76
4.2.7 Application、Job、Stage和Task的并行粒度和并行條件 77
4.3 Spark程序代碼執行過程 77
4.4 練習 85
第5章 RDD編程 86
5.1 RDD核心概念 86
5.1.1 Transformation的基本概念 87
5.1.2 Action的基本概念 88
5.1.3 Partition的基本概念 88
5.2 創建RDD 89
5.3 RDD Partition 93
5.4 Transformation操作 107
5.5 Action操作 130
5.6 RDD的cache/persist和checkpoint操作 136
5.7 練習 140
第6章 Spark SQL結構化數據處理 142
6.1 Spark SQL的核心概念 142
6.2 Spark SQL數據處理概述 147
6.3 構建Spark SQL運行環境 150
6.4 DataFrame/Dataset快速上手 157
6.5 DataFrame/Dataset與數據源的轉換 165
6.6 DataFrame/Dataset常用API 198
6.7 SQL操作 223
6.8 練習 234
第7章 Spark Streaming 236
7.1 Spark Streaming基礎 236
7.2 編寫一個Spark Streaming程序 241
7.3 Spark Streaming Web UI的使用 244
7.4 多路流數據合并處理示例 250
7.5 DStream Transformation操作 255
7.6 DStream Output 操作 262
7.7 練習 264
第8章 Structured Streaming 265
8.1 Structured Streaming基礎 265
8.2 Structured Streaming接入Text File數據源 268
8.3 Structured Streaming接入Rate數據源 273
8.4 使用Schema解析JSON格式數據源 274
8.5 使用DataFrame/Dataset處理流數據 277
8.6 Structured Streaming Window操作 282
8.7 Structured Streaming Watermarking操作 288
8.8 Structured Streaming JOIN操作 290
8.9 練習 304
第9章 SparkR 305
9.1 SparkR基礎 305
9.2 構建SparkR程序開發和運行環境 307
9.3 SparkR代碼的執行方式 308
9.4 SparkR的基本使用 314
9.5 SparkR機器學習算子 323
9.6 利用SparkR實現單詞統計和圖形輸出 326
9.7 練習 329
第10章 GraphX 330
10.1 GraphX基礎 330
10.2 GraphX的基本數據結構 335
10.3 GraphX實現*短路徑算法——SGDSP 354
10.4 GraphX Pregel的原理及使用 361
10.5 GraphX Pregel實現*短路徑算法——SGPSP 366
10.6 練習 370
參考文獻 372
展開全部
Spark大數據編程實用教程 作者簡介
文艾（艾叔）：系統分析師，原解放軍理工大學-奇虎360聯合實驗室技術負責人；具有多年大數據開發和運維經驗，帶領團隊完成了與華為、中興通訊和奇虎360等公司的多個大數據類項目；曾受邀為中興通訊和奇虎360等公司做技術培訓，其主講的Spark課程長期排名51CTO學院大數據類（Spark分類）年銷量前列；擅長幫助初學者快速掌握Spark大數據編程技能，近年來指導零基礎本科生參加Spark類全國編程競賽，戰勝了多支985高校的研究生隊，獲得全國總決賽二等獎兩次和三等獎一次；指導本科生完成的云計算和大數據類作品，參加科技創新競賽，共獲得全國特等獎一次，一等獎兩次；通過“艾叔編程”公眾號，以及在網易云課堂上開設的一系列免費視頻課程，至今已幫助8萬多名學習者入門編程，并獲得好評。
書友推薦
- >
伊索寓言-世界文學名著典藏-全譯本
- >
推拿
- >
二體千字文
- >
【精裝繪本】畫給孩子的中國神話
- >
上帝之肋:男人的真實旅程
- >
回憶愛瑪儂
- >
中國歷史的瞬間
- >
朝聞道
本類暢銷
