包郵 大數(shù)據(jù)計(jì)算系統(tǒng):原理、技術(shù)與應(yīng)用
-
>
全國(guó)計(jì)算機(jī)等級(jí)考試最新真考題庫(kù)模擬考場(chǎng)及詳解·二級(jí)MSOffice高級(jí)應(yīng)用
-
>
決戰(zhàn)行測(cè)5000題(言語(yǔ)理解與表達(dá))
-
>
軟件性能測(cè)試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強(qiáng)教科書(shū)(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
大數(shù)據(jù)計(jì)算系統(tǒng):原理、技術(shù)與應(yīng)用 版權(quán)信息
- ISBN:9787111733072
- 條形碼:9787111733072 ; 978-7-111-73307-2
- 裝幀:平裝-膠訂
- 冊(cè)數(shù):暫無(wú)
- 重量:暫無(wú)
- 所屬分類(lèi):>>
大數(shù)據(jù)計(jì)算系統(tǒng):原理、技術(shù)與應(yīng)用 本書(shū)特色
大數(shù)據(jù)計(jì)算系統(tǒng)是大數(shù)據(jù)工程師必須掌握和了解的內(nèi)容之一。本書(shū)結(jié)合兩位作者的科研和教學(xué)經(jīng)驗(yàn),詳細(xì)介紹了目前常用的大數(shù)據(jù)計(jì)算系統(tǒng)的架構(gòu)、原理、編程和優(yōu)化方法。本書(shū)分為基礎(chǔ)篇、原理篇和運(yùn)維篇三個(gè)部分,基礎(chǔ)篇介紹常用大數(shù)據(jù)計(jì)算系統(tǒng)上的編程方法,為后續(xù)理解原理并應(yīng)用奠定基礎(chǔ);原理篇介紹常用大數(shù)據(jù)計(jì)算系統(tǒng)的架構(gòu)、運(yùn)行機(jī)制,并結(jié)合實(shí)際場(chǎng)景介紹不同計(jì)算系統(tǒng)的應(yīng)用和設(shè)計(jì)方法;運(yùn)維篇介紹了不同計(jì)算系統(tǒng)的調(diào)優(yōu)和維護(hù)機(jī)制,確保大數(shù)據(jù)計(jì)算系統(tǒng)的高效工作。與同類(lèi)書(shū)相比,本書(shū)內(nèi)容層層深入,既有原理的介紹,又有運(yùn)維、調(diào)優(yōu)等工程知識(shí),為讀者成為大數(shù)據(jù)工程師奠定堅(jiān)實(shí)基礎(chǔ)。
大數(shù)據(jù)計(jì)算系統(tǒng):原理、技術(shù)與應(yīng)用 內(nèi)容簡(jiǎn)介
本書(shū)兼顧廣度和深度、應(yīng)用和原理、研發(fā)和運(yùn)維,對(duì)于各類(lèi)大數(shù)據(jù)計(jì)算系統(tǒng)進(jìn)行了深入的介紹,包括大數(shù)據(jù)計(jì)算系統(tǒng)的基本概念、各種大數(shù)據(jù)計(jì)算系統(tǒng)的配置與程序設(shè)計(jì)方法、大數(shù)據(jù)計(jì)算系統(tǒng)的運(yùn)行原理、大數(shù)據(jù)計(jì)算機(jī)系統(tǒng)的監(jiān)控、運(yùn)維和調(diào)優(yōu)方法等。本書(shū)適用于作為數(shù)據(jù)科學(xué)與大數(shù)據(jù)、計(jì)算機(jī)等專(zhuān)業(yè)本科生和研究生相關(guān)課程的教材,還可供大數(shù)據(jù)領(lǐng)域從業(yè)人員參考。
大數(shù)據(jù)計(jì)算系統(tǒng):原理、技術(shù)與應(yīng)用 目錄
前言
**部分 基礎(chǔ)
第1章 大數(shù)據(jù)計(jì)算系統(tǒng)概述2
1.1 大數(shù)據(jù)計(jì)算系統(tǒng)的定義2
1.1.1 大數(shù)據(jù)2
1.1.2 大數(shù)據(jù)計(jì)算4
1.1.3 大數(shù)據(jù)計(jì)算系統(tǒng)4
1.2 常見(jiàn)的大數(shù)據(jù)計(jì)算系統(tǒng)6
1.2.1 批處理計(jì)算框架Hadoop6
1.2.2 分布式計(jì)算框架Spark6
1.2.3 流計(jì)算系統(tǒng)Storm7
1.2.4 分布式圖計(jì)算框架GraphX7
1.2.5 大數(shù)據(jù)計(jì)算系統(tǒng)的對(duì)比7
1.3 大數(shù)據(jù)計(jì)算系統(tǒng)的監(jiān)控與
運(yùn)維概述7
1.3.1 概述7
1.3.2 監(jiān)控與運(yùn)維的范圍8
1.3.3 大數(shù)據(jù)計(jì)算系統(tǒng)的監(jiān)控與
運(yùn)維方法8
1.3.4 大數(shù)據(jù)計(jì)算系統(tǒng)的運(yùn)維目標(biāo)9
1.4 大數(shù)據(jù)計(jì)算系統(tǒng)的性能優(yōu)化10
1.4.1 提升大數(shù)據(jù)計(jì)算系統(tǒng)
性能的途徑10
1.4.2 提升大數(shù)據(jù)計(jì)算系統(tǒng)
性能的難度11
1.4.3 運(yùn)維與性能優(yōu)化的關(guān)系12
習(xí)題112
第二部分 應(yīng)用實(shí)現(xiàn)
第2章 Hadoop的配置與編程14
2.1 批處理計(jì)算框架概述14
2.1.1 計(jì)算框架14
2.1.2 批處理15
2.2 Hadoop環(huán)境的配置與搭建15
2.2.1 環(huán)境配置前的準(zhǔn)備15
2.2.2 Hadoop安裝的預(yù)備知識(shí)16
2.2.3 本地/獨(dú)立模式的配置17
2.2.4 偽分布式模式的配置18
2.2.5 全分布式模式的配置20
2.3 一個(gè)簡(jiǎn)單示例22
2.3.1 環(huán)境與數(shù)據(jù)的準(zhǔn)備22
2.3.2 在IDEA下建立基于Maven
的Hadoop項(xiàng)目23
2.3.3 編寫(xiě)WordCount程序26
2.3.4 Hadoop程序的運(yùn)行過(guò)程與
結(jié)果查看29
2.4 MapReduce編程30
2.4.1 MapReduce計(jì)算模型30
2.4.2 MapReduce程序的運(yùn)行過(guò)程32
2.4.3 去重38
習(xí)題241
第3章 HDFS及其應(yīng)用42
3.1 HDFS概述42
3.2 HDFS Shell43
3.2.1 概述43
3.2.2 幫助的使用方法44
3.2.3 通用命令行操作45
3.3 HDFS目錄與數(shù)據(jù)的瀏覽47
3.4 HDFS API48
3.4.1 概述48
3.4.2 讀文件操作48
3.4.3 寫(xiě)文件操作48
3.4.4 FileUtil文件處理49
3.4.5 HDFS API應(yīng)用示例51
習(xí)題357
第4章 Spark的配置與編程58
4.1 Spark環(huán)境的安裝與部署59
4.1.1 Spark的安裝59
4.1.2 Scala的安裝60
4.1.3 Spark的源碼編譯61
4.1.4 搭建Spark單機(jī)版環(huán)境64
4.1.5 搭建Spark獨(dú)立運(yùn)行環(huán)境66
4.1.6 搭建Spark on YARN環(huán)境68
4.1.7 Spark的高可用性部署70
4.2 Spark的運(yùn)行72
4.2.1 Spark程序運(yùn)行概述72
4.2.2 Spark的本地運(yùn)行過(guò)程73
4.2.3 獨(dú)立運(yùn)行模式74
4.2.4 Spark on YARN的運(yùn)行過(guò)程75
4.2.5 獨(dú)立運(yùn)行模式與YARN
模式的比較76
4.3 Spark Scala編程76
4.3.1 Scala的語(yǔ)法76
4.3.2 Scala編程入門(mén)82
4.3.3 Spark API的使用86
4.3.4 用Scala開(kāi)發(fā)Spark應(yīng)用
程序的案例88
4.3.5 程序運(yùn)行過(guò)程的分析93
習(xí)題495
第5章 Storm的配置與編程96
5.1 流計(jì)算概述96
5.2 Storm概述98
5.2.1 什么是Storm98
5.2.2 Storm的特征98
5.3 Storm開(kāi)發(fā)環(huán)境的搭建99
5.3.1 Storm環(huán)境的配置99
5.3.2 命令行客戶(hù)端102
5.3.3 IDEA下建立Storm的
Maven項(xiàng)目107
5.4 Storm編程109
5.4.1 可以與Storm集成的系統(tǒng)109
5.4.2 計(jì)算模型109
5.4.3 可以使用任何語(yǔ)言110
5.4.4 簡(jiǎn)單的API110
5.5 Storm編程示例—單詞計(jì)數(shù)110
5.5.1 實(shí)現(xiàn)目標(biāo)110
5.5.2 建立編寫(xiě)程序的包名111
5.5.3 編寫(xiě)spouts文件Word-
Reader112
5.5.4 編寫(xiě)bolts文件Word-
Normalizer114
5.5.5 編寫(xiě)bolts文件WordCounter115
5.5.6 編寫(xiě)主函數(shù)文件Topologoy-
Main116
5.5.7 通過(guò)主函數(shù)文件Topologoy-
Main運(yùn)行程序117
習(xí)題5117
第6章 GraphX及其應(yīng)用118
6.1 圖計(jì)算概述118
6.1.1 圖118
6.1.2 屬性圖119
6.1.3 圖計(jì)算119
6.1.4 支持圖計(jì)算的GraphX120
6.2 GraphX編程120
6.2.1 GraphX項(xiàng)目的導(dǎo)入120
6.2.2 GraphX中屬性圖的表達(dá)120
6.2.3 圖操作符121
6.3 GraphX編程示例126
6.3.1 一個(gè)簡(jiǎn)單的GraphX示例126
6.3.2 GraphX應(yīng)用編程—
子圖發(fā)現(xiàn)129
6.3.3 GraphX應(yīng)用編程—
PageRank130
習(xí)題6132
第三部分 原理
第7章 Hadoop的原理134
7.1 Hadoop的體系結(jié)構(gòu)134
7.2 MapReduce的工作機(jī)制135
7.2.1 背景135
7.2.2 計(jì)算的執(zhí)行流程137
7.2.3 計(jì)算的本地性138
7.3 MapReduce作業(yè)的運(yùn)行機(jī)制139
7.3.1 經(jīng)典的MapReduce139
7.3.2 YARN145
7.4 作業(yè)的調(diào)
- >
隨園食單
- >
我從未如此眷戀人間
- >
苦雨齋序跋文-周作人自編集
- >
月亮與六便士
- >
【精裝繪本】畫(huà)給孩子的中國(guó)神話(huà)
- >
有舍有得是人生
- >
名家?guī)阕x魯迅:故事新編
- >
名家?guī)阕x魯迅:朝花夕拾