中图网(原中国图书网):网上书店,中文字幕在线一区二区三区,尾货特色书店,中文字幕在线一区,30万种特价书低至2折!

歡迎光臨中圖網(wǎng) 請(qǐng) | 注冊(cè)
> >>
大數(shù)據(jù)技術(shù)基礎(chǔ)-基于Hadoop與Spark

包郵 大數(shù)據(jù)技術(shù)基礎(chǔ)-基于Hadoop與Spark

出版社:人民郵電出版社出版時(shí)間:2017-06-01
開(kāi)本: 32開(kāi) 頁(yè)數(shù): 292
本類榜單:教材銷(xiāo)量榜
中 圖 價(jià):¥39.8(8.0折) 定價(jià)  ¥49.8 登錄后可看到會(huì)員價(jià)
加入購(gòu)物車(chē) 收藏
開(kāi)年大促, 全場(chǎng)包郵
?新疆、西藏除外
本類五星書(shū)更多>

大數(shù)據(jù)技術(shù)基礎(chǔ)-基于Hadoop與Spark 版權(quán)信息

大數(shù)據(jù)技術(shù)基礎(chǔ)-基于Hadoop與Spark 本書(shū)特色

本書(shū)主要內(nèi)容包括:*章 大數(shù)據(jù)技術(shù)概述、第二章 Hadoop平臺(tái)的安裝與配置、第三章 Hadoop分布式文件系統(tǒng)、第四章 HDFS API編程、第五章 Hadoop分布式計(jì)算框架、第六章 MapReduce API編程、第七章 MapReduce 高級(jí)編程、第八章 Spark概述、第九章 Spark Streaming編程、第十章 Spark SQL編程。

大數(shù)據(jù)技術(shù)基礎(chǔ)-基于Hadoop與Spark 內(nèi)容簡(jiǎn)介

*,重點(diǎn)突出,避免市場(chǎng)上大多數(shù)的大數(shù)據(jù)書(shū)籍面面俱到、不適合教學(xué)的弊端 第二、內(nèi)容結(jié)構(gòu)完整,根據(jù)循序漸進(jìn)的認(rèn)識(shí)規(guī)律設(shè)計(jì)章節(jié)順序 第三、提供了大量的案例,所有案例代碼都是完整的,都通過(guò)了JDK 1.8調(diào)試并給出了運(yùn)行效果 第四,全書(shū)配備了豐富的、符合初學(xué)者習(xí)慣的思考和實(shí)踐任務(wù) 第五,全書(shū)不僅包含了Hadoop 和 Spark的概念、原理及其應(yīng)用方法,還通過(guò)應(yīng)用案例以圖文并茂的方式展示了大數(shù)據(jù)應(yīng)用系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)過(guò)程,為讀者深入學(xué)習(xí)Hadoop與Spark技術(shù)提供了頗具價(jià)值的參考

大數(shù)據(jù)技術(shù)基礎(chǔ)-基于Hadoop與Spark 目錄

第1章 大數(shù)據(jù)技術(shù)概述 1

1.1 大數(shù)據(jù)技術(shù)的發(fā)展背景 1

1.1.1 大數(shù)據(jù)技術(shù)的發(fā)展過(guò)程 2

1.1.2 大數(shù)據(jù)技術(shù)的影響 3

1.1.3 大數(shù)據(jù)發(fā)展的重大事件 5

1.2 大數(shù)據(jù)的概念、特征及意義 7

1.2.1 什么是大數(shù)據(jù) 7

1.2.2 大數(shù)據(jù)的特征 8

1.2.3 大數(shù)據(jù)來(lái)自哪兒 9

1.2.4 大數(shù)據(jù)的挑戰(zhàn) 10

1.2.5 研究大數(shù)據(jù)的意義 12

1.3 大數(shù)據(jù)的存儲(chǔ)與計(jì)算模式 13

1.3.1 大數(shù)據(jù)的存儲(chǔ)模式 13

1.3.2 大數(shù)據(jù)的計(jì)算模式 16

1.4 大數(shù)據(jù)的典型應(yīng)用 18

1.4.1 智慧醫(yī)療的應(yīng)用 19

1.4.2 智慧農(nóng)業(yè)的應(yīng)用 20

1.4.3 金融行業(yè)的應(yīng)用 21

1.4.4 零售行業(yè)的應(yīng)用 24

1.4.5 電子商務(wù)行業(yè)的應(yīng)用 24

1.4.6 電子政務(wù)的應(yīng)用 24

1.5 初識(shí)Hadoop大數(shù)據(jù)平臺(tái) 26

1.5.1 Hadoop的發(fā)展過(guò)程 26

1.5.2 Hadoop的優(yōu)勢(shì) 27

1.5.3 Hadoop的生態(tài)系統(tǒng) 28

1.5.4 Hadoop的版本 29

1.6 習(xí)題 32

第2章 Hadoop平臺(tái)的安裝與配置 33

2.1 安裝準(zhǔn)備 33

2.1.1 硬件要求 33

2.1.2 安裝Linux 34

2.1.3 安裝Java 36

2.2 Hadoop的集群安裝 38

2.2.1 Hadoop的運(yùn)行模式 38

2.2.2 Linux系統(tǒng)設(shè)置 39

2.2.3 SSH的安裝 41

2.2.4 Hadoop的安裝 42

2.2.5 Hadoop的配置 42

2.2.6 Hadoop的測(cè)試 49

2.3 Hadoop開(kāi)發(fā)平臺(tái)的安裝 51

2.3.1 Eclipse的安裝 51

2.3.2 下載hadoop-eclipse-plugin插件 53

2.3.3 在Eclipse中配置Hadoop 53

2.4 習(xí)題 55

2.5 實(shí)訓(xùn) 55

第3章 Hadoop分布式文件系統(tǒng) 57

3.1 HDFS概述 57

3.1.1 HDFS簡(jiǎn)介 57

3.1.2 HDFS的基本概念 58

3.1.3 HDFS的特點(diǎn) 59

3.2 HDFS的體系結(jié)構(gòu) 61

3.2.1 HDFS設(shè)計(jì)目標(biāo) 61

3.2.2 HDFS的結(jié)構(gòu)模型 61

3.2.3 HDFS文件的讀寫(xiě) 63

3.2.4 HDFS的數(shù)據(jù)組織機(jī)制 63

3.2.5 HDFS的高可用性機(jī)制 66

3.3 HDFS Shell操作 68

3.3.1 Shell命令介紹 68

3.3.2 HDFS Shell幫助 68

3.3.3 文件操作命令 69

3.3.4 跨文件系統(tǒng)的交互操作命令 73

3.3.5 權(quán)限管理操作 74

3.4 習(xí)題 76

3.5 實(shí)訓(xùn) 77

第4章 HDFS API編程 78

4.1 HDFS API概述 78

4.1.1 HDFS API簡(jiǎn)介 78

4.1.2 HDFS Java API的一般用法 82

4.2 HDFS Java API客戶端編程 85

4.2.1 目錄與文件的創(chuàng)建 85

4.2.2 文件上傳與下載 87

4.2.3 數(shù)據(jù)流與文件讀寫(xiě)操作 89

4.2.4 目錄與文件的重命名 93

4.2.5 目錄和文件的刪除 94

4.2.6 文件系統(tǒng)的狀態(tài)信息顯示 95

4.3 HDFS應(yīng)用舉例——云盤(pán)系統(tǒng)的實(shí)現(xiàn) 99

4.3.1 云盤(pán)系統(tǒng)分析 99

4.3.2 云盤(pán)系統(tǒng)設(shè)計(jì) 99

4.3.3 云盤(pán)系統(tǒng)實(shí)現(xiàn) 100

4.4 習(xí)題 104

4.5 實(shí)訓(xùn) 104

第5章 Hadoop分布式計(jì)算框架 106

5.1 MapReduce概述 106

5.1.1 為什么需要MapReduce 106

5.1.2 MapReduce的優(yōu)勢(shì) 110

5.1.3 MapReduce的基本概念 111

5.1.4 MapReduce框架 112

5.1.5 MapReduce發(fā)展 114

5.2 YARN運(yùn)行機(jī)制 118

5.2.1 YARN組成結(jié)構(gòu) 118

5.2.2 YARN通信協(xié)議 120

5.2.3 YARN工作流程 121

5.3 數(shù)據(jù)的混洗處理 123

5.3.1 map端 124

5.3.2 reduce端 125

5.4 作業(yè)的調(diào)度 125

5.4.1 FIFO調(diào)度器 126

5.4.2 Capacity調(diào)度器 126

5.4.3 Fair調(diào)度器 127

5.4.4 調(diào)度器的比較 128

5.5 任務(wù)的執(zhí)行 129

5.5.1 推測(cè)執(zhí)行 129

5.5.2 JVM重用 130

5.5.3 跳過(guò)壞記錄 130

5.6 失敗處理機(jī)制 130

5.6.1 任務(wù)運(yùn)行失敗 130

5.6.2 ApplicationMaster運(yùn)行失敗 131

5.6.3 NodeManager運(yùn)行失敗 131

5.6.4 ResourceManager運(yùn)行失敗 132

5.6.5 日志文件 133

5.7 MapReduce示例演示——WordCount 133

5.8 習(xí)題 136

第6章 MapReduce API編程 137

6.1 MapReduce API概述 137

6.1.1 MapReduce API簡(jiǎn)介 137

6.1.2 MapReduce API編程思路 140

6.2 MapReduce的數(shù)據(jù)類型 146

6.2.1 序列化 146

6.2.2 Writable接口 146

6.2.3 Writable類 148

6.3 MapReduce的輸入 153

6.3.1 輸入分片 153

6.3.2 文件輸入 154

6.3.3 文本輸入 156

6.3.4 二進(jìn)制輸入 157

6.3.5 多個(gè)輸入 158

6.3.6 數(shù)據(jù)庫(kù)輸入 159

6.4 MapReduce的輸出 159

6.4.1 文本輸出 160

6.4.2 二進(jìn)制輸出 160

6.4.3 多個(gè)輸出 160

6.4.4 延遲輸出 161

6.4.5 數(shù)據(jù)庫(kù)輸出 161

6.5 MapReduce的任務(wù) 161

6.5.1 map任務(wù) 162

6.5.2 combine任務(wù) 163

6.5.3 partition任務(wù) 164

6.5.4 reduce任務(wù) 164

6.5.5 任務(wù)的配置與執(zhí)行 165

6.6 MapReduce應(yīng)用舉例——倒排索引 168

6.6.1 功能介紹 168

6.6.2 準(zhǔn)備數(shù)據(jù) 169

6.6.3 分析與設(shè)計(jì) 170

6.6.4 MapReduce編碼實(shí)現(xiàn) 171

6.6.5 測(cè)試結(jié)果 173

6.7 習(xí)題 174

6.8 實(shí)訓(xùn) 175

第7章 MapReduce 高級(jí)編程 177

7.1 自定義數(shù)據(jù)類型 177

7.2 自定義輸入/輸出 183

7.2.1 RecordReader與RecordWriter 183

7.2.2 自定義輸入 188

7.2.3 自定義輸出 192

7.3 自定義Combiner/Partitioner 194

7.3.1 自定義Combiner 194

7.3.2 自定義Partitioner 197

7.4 組合式計(jì)算作業(yè) 200

7.4.1 迭代式計(jì)算 200

7.4.2 依賴關(guān)系組合式計(jì)算 201

7.4.3 鏈?zhǔn)接?jì)算 202

7.5 MapReduce的特性 203

7.5.1 計(jì)數(shù)器 203

7.5.2 連接 210

7.6 MapReduce應(yīng)用舉例——成績(jī)分析

系統(tǒng)的實(shí)現(xiàn) 215

7.6.1 成績(jī)分析系統(tǒng)解析 215

7.6.2 成績(jī)分析系統(tǒng)功能設(shè)計(jì) 216

7.6.3 成績(jī)分析系統(tǒng)實(shí)現(xiàn) 216

7.7 習(xí)題 225

7.8 實(shí)訓(xùn) 225

第8章 Spark概述 226

8.1 環(huán)境搭建 226

8.1.1 Scala的下載和安裝 227

8.1.2 Spark的下載與安裝 228

8.2 Spark簡(jiǎn)介 231

8.2.1 Spark的發(fā)展 231

8.2.2 Spark的特點(diǎn) 232

8.2.3 Spark與Hadoop的關(guān)系 233

8.2.4 Spark的企業(yè)應(yīng)用 234

8.3 Spark大數(shù)據(jù)技術(shù)框架 235

8.3.1 Spark技術(shù)體系 235

8.3.2 四大組件概述 237

8.4 Spark 2.0 使用體驗(yàn) 238

8.4.1 Spark入口 238

8.4.2 **個(gè)Spark程序 239

8.5 Spark的數(shù)據(jù)模型 242

8.5.1 RDD介紹 242

8.5.2 RDD的處理過(guò)程 243

8.5.3 Transformation算子與使用 243

8.5.4 Action算子與使用 251

8.5.5 RDD分區(qū) 253

8.5.6 RDD的依賴關(guān)系 253

8.5.7 RDD的容錯(cuò)支持 254

8.6 Spark任務(wù)調(diào)度 255

8.6.1 Spark應(yīng)用程序部署 255

8.6.2 Spark任務(wù)的調(diào)度機(jī)制 255

8.7 習(xí)題 256

8.8 實(shí)訓(xùn) 257

第9章 Spark Streaming編程 258

9.1 Spark Streaming介紹 258

9.2 Spark Streaming工作機(jī)制 259

9.3 Spark的DStream流 262

9.3.1 DStream轉(zhuǎn)換 262

9.3.2 Window操作 263

9.3.3 DStream輸出 264

9.3.4 持久化與序列化 265

9.3.5 設(shè)置檢測(cè)點(diǎn) 266

9.4 Spark Streaming案例 267

9.5 集群處理與性能 270

9.6 習(xí)題 272

9.7 實(shí)訓(xùn) 272

第10章 Spark SQL編程 273

10.1 Spark SQL概述 273

10.2 DataFrame 275

10.2.1 DataSet與DataFrame 275

10.2.2 反射機(jī)制獲取RDD內(nèi)

的Schema 276

10.2.3 編程接口指定Schema 277

10.3 數(shù)據(jù)源 278

10.3.1 一般load/save方法 278

10.3.2 Parquet數(shù)據(jù)集 279

10.3.3 JSON數(shù)據(jù)集 280

10.3.4 JDBC數(shù)據(jù)集 281

10.3.5 DataFrame的案例 282

10.4 Spark Streaming與Spark SQL

綜合案例 285

10.5 習(xí)題 290

10.6 實(shí)訓(xùn) 291

參考文獻(xiàn) 292

展開(kāi)全部

大數(shù)據(jù)技術(shù)基礎(chǔ)-基于Hadoop與Spark 作者簡(jiǎn)介

羅福強(qiáng),副教授,暢銷(xiāo)教材作者。其編寫(xiě)的《Visual C#.NET程序設(shè)計(jì)教程》教材,累計(jì)銷(xiāo)售數(shù)萬(wàn)冊(cè)。

暫無(wú)評(píng)論……
書(shū)友推薦
本類暢銷(xiāo)
返回頂部
中圖網(wǎng)
在線客服
主站蜘蛛池模板: 压砖机、液压制砖机、静压砖机、环保砖机生产厂家—杜甫机械 | 苏州同创电子有限公司 - 四探针测试仪源头厂家 | 流量检测仪-气密性检测装置-密封性试验仪-东莞市奥图自动化科技有限公司 | 天一线缆邯郸有限公司_煤矿用电缆厂家_矿用光缆厂家_矿用控制电缆_矿用通信电缆-天一线缆邯郸有限公司 | 防爆电机_ybx3系列电机_河南省南洋防爆电机有限公司 | 玻璃钢格栅盖板|玻璃钢盖板|玻璃钢格栅板|树篦子-长沙川皖玻璃钢制品有限公司 | 高铝矾土熟料_细粉_骨料_消失模_铸造用铝矾土_铝酸钙粉—嵩峰厂家 | 砍排机-锯骨机-冻肉切丁机-熟肉切片机-预制菜生产线一站式服务厂商 - 广州市祥九瑞盈机械设备有限公司 | 深圳天际源广告-形象堆头,企业文化墙,喷绘,门头招牌设计制作专家 | 体坛网_体坛+_体坛周报新闻客户端 | 培训中心-翰香原香酥板栗饼加盟店总部-正宗板栗酥饼技术 | 海日牌清洗剂-打造带电清洗剂、工业清洗剂等清洗剂国内一线品牌 海外整合营销-独立站营销-社交媒体运营_广州甲壳虫跨境网络服务 | 全自动贴标机-套标机-工业热风机-不干胶贴标机-上海厚冉机械 | 宁夏活性炭_防护活性炭_催化剂载体炭-宁夏恒辉活性炭有限公司 | 智能案卷柜_卷宗柜_钥匙柜_文件流转柜_装备柜_浙江福源智能科技有限公司 | 上海璟文空运首页_一级航空货运代理公司_机场快递当日达 | 户外-组合-幼儿园-不锈钢-儿童-滑滑梯-床-玩具-淘气堡-厂家-价格 | QQ房产导航-免费收录优秀房地产网站_房地产信息网 | 洁净实验室工程-成都手术室净化-无尘车间装修-四川华锐净化公司-洁净室专业厂家 | 编织人生 - 权威手工编织网站,编织爱好者学习毛衣编织的门户网站,织毛衣就上编织人生网-编织人生 | 济南网站建设_济南网站制作_济南网站设计_济南网站建设公司_富库网络旗下模易宝_模板建站 | 时代北利离心机,实验室离心机,医用离心机,低速离心机DT5-2,美国SKC采样泵-上海京工实业有限公司 工业电炉,台车式电炉_厂家-淄博申华工业电炉有限公司 | Eiafans.com_环评爱好者 环评网|环评论坛|环评报告公示网|竣工环保验收公示网|环保验收报告公示网|环保自主验收公示|环评公示网|环保公示网|注册环评工程师|环境影响评价|环评师|规划环评|环评报告|环评考试网|环评论坛 - Powered by Discuz! | 广州中央空调回收,二手中央空调回收,旧空调回收,制冷设备回收,冷气机组回收公司-广州益夫制冷设备回收公司 | 防水套管|柔性防水套管|伸缩器|伸缩接头|传力接头-河南伟创管道 防水套管_柔性防水套管_刚性防水套管-巩义市润达管道设备制造有限公司 | 深圳市超时尚职业培训学校,培训:月嫂,育婴,养老,家政;化妆,美容,美发,美甲. | 全自动面膜机_面膜折叠机价格_面膜灌装机定制_高速折棉机厂家-深圳市益豪科技有限公司 | 恒温槽_恒温水槽_恒温水浴槽-上海方瑞仪器有限公司 | 无机纤维喷涂棉-喷涂棉施工工程-山东华泉建筑工程有限公司▲ | 仓储笼_金属箱租赁_循环包装_铁网箱_蝴蝶笼租赁_酷龙仓储笼租赁 测试治具|过炉治具|过锡炉治具|工装夹具|测试夹具|允睿自动化设备 | 品牌设计_VI设计_电影海报设计_包装设计_LOGO设计-Bacross新越品牌顾问 | 旋振筛_不锈钢旋振筛_气旋筛_旋振筛厂家—新乡市大汉振动机械有限公司 | 耐高温电缆厂家-远洋高温电缆 | 软启动器-上海能曼电气有限公司 真空搅拌机-行星搅拌机-双行星动力混合机-广州市番禺区源创化工设备厂 | 发电机组|柴油发电机组-批发,上柴,玉柴,潍柴,康明斯柴油发电机厂家直销 | 丹佛斯变频器-丹佛斯压力开关-变送器-广州市风华机电设备有限公司 | 穿线管|波纹穿线管|包塑金属软管|蛇皮管?闵彬专注弱电工程? | 沧州友城管业有限公司-内外涂塑钢管-大口径螺旋钢管-涂塑螺旋管-保温钢管生产厂家 | 【德信自动化】点胶机_全自动点胶机_自动点胶机厂家_塑料热压机_自动螺丝机-深圳市德信自动化设备有限公司 | 聚氨酯保温钢管_聚氨酯直埋保温管道_聚氨酯发泡保温管厂家-沧州万荣防腐保温管道有限公司 | 机制砂选粉机_砂石选粉机厂家-盐城市助成粉磨科技有限公司 |