包郵 走近大數(shù)據(jù)
-
>
全國(guó)計(jì)算機(jī)等級(jí)考試最新真考題庫(kù)模擬考場(chǎng)及詳解·二級(jí)MSOffice高級(jí)應(yīng)用
-
>
決戰(zhàn)行測(cè)5000題(言語(yǔ)理解與表達(dá))
-
>
軟件性能測(cè)試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強(qiáng)教科書(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
走近大數(shù)據(jù) 版權(quán)信息
- ISBN:9787115492814
- 條形碼:9787115492814 ; 978-7-115-49281-4
- 裝幀:一般膠版紙
- 冊(cè)數(shù):暫無
- 重量:暫無
- 所屬分類:>
走近大數(shù)據(jù) 本書特色
1.本書的編寫團(tuán)隊(duì)寫作經(jīng)驗(yàn)豐富,有來自北京郵電大學(xué)的教授從事大數(shù)據(jù)工作的從業(yè)者; 2.本書內(nèi)容深入淺出,技術(shù)結(jié)合豐富的場(chǎng)景故事,通俗易懂,概念新穎,思想創(chuàng)新; 3.本書結(jié)合新穎案例幫助相關(guān)的技術(shù)人員或大數(shù)據(jù)的初學(xué)者了解大數(shù)據(jù)的相關(guān)知識(shí)。
走近大數(shù)據(jù) 內(nèi)容簡(jiǎn)介
本書首先介紹了大數(shù)據(jù)的一些基本概念,闡述了大數(shù)據(jù)發(fā)展的歷史必然性;然后圍繞大數(shù)據(jù)生態(tài)的各個(gè)技術(shù)和組件進(jìn)行了基本的介紹;接著介紹了建設(shè)大數(shù)據(jù)系統(tǒng)要考慮的一些關(guān)鍵內(nèi)容;很后以附錄的形式給出了一些企業(yè)建設(shè)大數(shù)據(jù)系統(tǒng)的案例。
走近大數(shù)據(jù) 目錄
第 1章 大數(shù)據(jù),心中有數(shù) 1
1.1 從一場(chǎng)親子講座談起 2
1.2 數(shù)據(jù)非今日變大,為什么今天火了 3
1.3 大數(shù)據(jù)帶來的改變漸漸發(fā)生了 6
1.4 大數(shù)據(jù),首先是數(shù)據(jù) 8
1.5 再議數(shù)據(jù)規(guī)模 10
1.6 大數(shù)據(jù)概念正解 11
1.6.1 大數(shù)據(jù)等于數(shù)據(jù)大嗎 11
1.6.2 大數(shù)據(jù)>數(shù)據(jù)大 11
1.6.3 大數(shù)據(jù)內(nèi)涵——4V屬性 12
1.6.4 大數(shù)據(jù)原理模擬 12
1.7 再談大數(shù)據(jù)帶來的真正改變 14
第 2章 大數(shù)據(jù),順勢(shì)而為 15
2.1 大數(shù)據(jù)發(fā)展基礎(chǔ) 16
2.1.1 大數(shù)據(jù)商用的前提 16
2.1.2 大數(shù)據(jù)發(fā)展引擎——云計(jì)算 16
2.1.3 大數(shù)據(jù)發(fā)展的ABCT模式 23
2.2 大數(shù)據(jù)兩個(gè)關(guān)鍵變化 25
2.3 大數(shù)據(jù)獲取與管理 25
2.3.1 大數(shù)據(jù)獲取 25
2.3.2 大數(shù)據(jù)管理 26
2.4 大數(shù)據(jù)存儲(chǔ) 27
2.5 大數(shù)據(jù)分析 28
2.6 大數(shù)據(jù)創(chuàng)新應(yīng)用 29
2.7 大數(shù)據(jù)安全 31
2.8 大數(shù)據(jù)發(fā)展對(duì)我們的要求 31
第3章 準(zhǔn)備好了嗎?——大數(shù)據(jù)技術(shù)及應(yīng)用 33
3.1 大數(shù)據(jù)的基石——Hadoop技術(shù)和應(yīng)用 35
3.1.1 源自一位爸爸的愛——Hadoop介紹 35
3.1.2 海量、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)寶典——Hadoop應(yīng)用場(chǎng)景 36
3.1.3 “打仗親兄弟,上陣父子兵”(拼的是團(tuán)隊(duì)。狧adoop
生態(tài)系統(tǒng) 41
3.1.4 如何擺布呢?——Hadoop實(shí)施建議 45
3.1.5 Hadoop的“七寸”——技術(shù)關(guān)鍵點(diǎn) 53
3.2 近期發(fā)展勢(shì)頭*猛的技術(shù)——Spark的應(yīng)用 57
3.2.1 “星星之火,可以燎原”——Spark簡(jiǎn)介 57
3.2.2 “速度決定一切”——Spark應(yīng)用場(chǎng)景 58
3.2.3 “另立門戶”的節(jié)奏——Spark生態(tài)系統(tǒng) 60
3.2.4 “火花”的關(guān)鍵點(diǎn)——Spark實(shí)施建議 63
3.2.5 “照單抓藥”即可——Spark參數(shù)配置 69
3.3 “中檔價(jià)格買中檔車的配置”——MPP數(shù)據(jù)庫(kù)的應(yīng)用 72
3.3.1 “不共享”的并行處理架構(gòu)——MPP數(shù)據(jù)庫(kù)簡(jiǎn)介 72
3.3.2 完全支持SQL--MPP數(shù)據(jù)庫(kù)應(yīng)用場(chǎng)景 72
3.3.3 “這樣的配置來兩打”——MPP數(shù)據(jù)庫(kù)實(shí)施建議 74
3.3.4 “對(duì)面的女孩看過來”——技術(shù)關(guān)注點(diǎn) 78
3.4 “速度決定一切!”——流處理技術(shù)的應(yīng)用 80
3.4.1 “流水不腐”——流處理技術(shù)簡(jiǎn)介 80
3.4.2 “*快的奔跑”——流處理技術(shù)應(yīng)用場(chǎng)景 81
3.4.3 看看誰跑得快?——流處理技術(shù)典型產(chǎn)品 82
3.4.4 短跑運(yùn)動(dòng)員的配置清單——流處理技術(shù)實(shí)施建議 83
3.5 NoSQL技術(shù)的應(yīng)用 87
3.5.1 NoSQL技術(shù)簡(jiǎn)介 88
3.5.2 “大數(shù)據(jù)量查詢”——適用場(chǎng)景 88
3.5.3 “都有誰?”——典型產(chǎn)品 89
3.5.4 如何租給更多人?——多租戶實(shí)現(xiàn)方式 92
3.6 在內(nèi)存里跑數(shù)據(jù)庫(kù)——內(nèi)存數(shù)據(jù)庫(kù)的應(yīng)用 93
3.6.1 傳統(tǒng)數(shù)據(jù)庫(kù)的“土豪”配置——內(nèi)存數(shù)據(jù)庫(kù)簡(jiǎn)介 93
3.6.2 提速的奢華方式——適用場(chǎng)景 94
3.6.3 哪些是“土豪”的**——典型產(chǎn)品 95
3.6.4 “土豪”要關(guān)注什么?——技術(shù)關(guān)注點(diǎn) 96
3.7 如何采集更多的數(shù)據(jù)——數(shù)據(jù)采集 97
3.7.1 “沒有數(shù)據(jù)就是無米之炊”——數(shù)據(jù)采集簡(jiǎn)介 97
3.7.2 不同的采集方式——適用場(chǎng)景 98
3.7.3 各種工具——技術(shù)簡(jiǎn)介 98
3.8 數(shù)據(jù)庫(kù)如何分布?——分布式關(guān)系型數(shù)據(jù)庫(kù)的應(yīng)用 106
3.8.1 “分布+傳統(tǒng)數(shù)據(jù)庫(kù)”——分布式關(guān)系型數(shù)據(jù)庫(kù)簡(jiǎn)介 106
3.8.2 數(shù)據(jù)庫(kù)的延伸——適用場(chǎng)景 106
3.8.3 支持SQL的分布式數(shù)據(jù)庫(kù)——典型產(chǎn)品 107
3.8.4 技術(shù)關(guān)注點(diǎn) 109
3.9 互聯(lián)網(wǎng)的“殺手級(jí)應(yīng)用”——搜索引擎 109
3.9.1 搜索引擎簡(jiǎn)介 109
3.9.2 搜索什么?——適用場(chǎng)景 110
3.9.3 產(chǎn)品簡(jiǎn)介 110
3.9.4 技術(shù)關(guān)注點(diǎn) 111
3.10 資源隔離的利器——容器的應(yīng)用 111
3.10.1 獨(dú)立的集裝箱——容器簡(jiǎn)介 112
3.10.2 容器與虛擬機(jī)的區(qū)別 113
3.10.3 集裝箱能用在哪里?——容器應(yīng)用場(chǎng)景 114
3.10.4 如何部署?——Docker實(shí)施建議 115
第4章 大數(shù)據(jù)如何顯示分析結(jié)果?——數(shù)據(jù)分析與數(shù)據(jù)可視化 119
4.1 收集大數(shù)據(jù)就是為了分析——數(shù)據(jù)分析 120
4.1.1 分析方法有哪些?——數(shù)據(jù)分析簡(jiǎn)介 120
4.1.2 數(shù)據(jù)分析的過程——適用場(chǎng)景 123
4.1.3 分析工具有哪些?——典型產(chǎn)品 123
4.1.4 什么*火?——深度學(xué)習(xí)典型產(chǎn)品 125
4.2 大數(shù)據(jù)也要學(xué)習(xí)“包裝”技術(shù)——數(shù)據(jù)可視化 129
4.2.1 如何讓數(shù)據(jù)更美觀?——數(shù)據(jù)可視化簡(jiǎn)介 129
4.2.2 什么時(shí)候數(shù)據(jù)需要美化?——適用場(chǎng)景 130
4.2.3 美化數(shù)據(jù)結(jié)果的工具——典型產(chǎn)品 130
第5章 如何構(gòu)建開放的大數(shù)據(jù)平臺(tái)?——大數(shù)據(jù)開放平臺(tái)構(gòu)建 133
5.1 為什么要開放?——概述 134
5.1.1 開放是趨勢(shì)——大數(shù)據(jù)開放平臺(tái)的意義 134
5.1.2 誰在使用開放平臺(tái)?——大數(shù)據(jù)開放平臺(tái)主要角色 135
5.1.3 開放哪些內(nèi)容?——大數(shù)據(jù)開放平臺(tái)開放的內(nèi)容與范圍 135
5.2 看看別人家的平臺(tái)——大數(shù)據(jù)開放平臺(tái)參考架構(gòu) 137
5.3 開放哪些內(nèi)容?——基礎(chǔ)能力的開放 138
5.3.1 自己采集所需——數(shù)據(jù)采集能力開放 138
5.3.2 自己存儲(chǔ)數(shù)據(jù)——數(shù)據(jù)存儲(chǔ)能力開放 140
5.3.3 自己決定處理方式——數(shù)據(jù)處理能力開放 142
5.3.4 自己決定展現(xiàn)形式——展現(xiàn)能力開放 144
5.4 把管理權(quán)力也開放出去——數(shù)據(jù)管理能力的開放 145
5.4.1 自己設(shè)計(jì)作業(yè)任務(wù)——任務(wù)調(diào)度能力開放 145
5.4.2 自己編排數(shù)據(jù)字典——元數(shù)據(jù)管理能力開放 148
5.4.3 自己管理自己的數(shù)據(jù)質(zhì)量——數(shù)據(jù)質(zhì)量管理能力開放 149
5.4.4 自己承擔(dān)安全員——數(shù)據(jù)安全管理能力開放 149
5.4.5 能提供哪些服務(wù)?——服務(wù)目錄能力開放 150
5.5 如何管理系統(tǒng)?——平臺(tái)管理 151
5.5.1 系統(tǒng)有什么料?——資源管理 152
5.5.2 如何調(diào)度作業(yè)?——負(fù)載管理 152
5.5.3 資源如何分配——配額管理 153
5.5.4 能否計(jì)費(fèi)?——計(jì)量管理 153
5.6 “眾人拾柴火焰高”——開發(fā)者門戶 154
5.6.1 “你是誰?”——注冊(cè)認(rèn)證 154
5.6.2 “來個(gè)廚房”——資源申請(qǐng) 155
5.6.3 “再來二斤牛肉、一壺好酒”——數(shù)據(jù)申請(qǐng) 156
5.6.4 “吃飽喝足”——開發(fā)上線 157
第6章 安全無小事——大數(shù)據(jù)安全 159
6.1 安全很重要——大數(shù)據(jù)安全概述 160
6.2 非法入侵——數(shù)據(jù)訪問安全 161
6.2.1 你有權(quán)限嗎?——用戶認(rèn)證 161
6.2.2 誰可以訪問?——用戶管理 164
6.2.3 我授權(quán)給你——用戶授權(quán) 166
6.3 數(shù)據(jù)加密?——數(shù)據(jù)服務(wù)安全 169
6.3.1 屏蔽隱私內(nèi)容——數(shù)據(jù)脫敏 169
6.3.2 追查泄露者——數(shù)字水印 170
6.3.3 有口令嗎?——安全令牌管理 171
6.3.4 全程防護(hù)——服務(wù)攻擊檢測(cè) 171
6.4 數(shù)據(jù)存在保險(xiǎn)箱就安全嗎?——數(shù)據(jù)存儲(chǔ)安全 173
6.4.1 看不懂的天書——加密 173
6.4.2 不能接觸——數(shù)據(jù)隔離 174
第7章 建設(shè)之后,運(yùn)維工作更重要——大數(shù)據(jù)運(yùn)維管理平臺(tái) 177
7.1 如何構(gòu)建運(yùn)維環(huán)境——大數(shù)據(jù)運(yùn)維管理平臺(tái)簡(jiǎn)介 178
7.2 功能點(diǎn)有哪些——大數(shù)據(jù)運(yùn)維管理平臺(tái)功能介紹 178
7.2.1 用戶管理 179
7.2.2 節(jié)點(diǎn)管理 179
7.2.3 組件管理 180
7.2.4 監(jiān)控與告警管理 181
7.2.5 日志管理 181
7.3 運(yùn)維產(chǎn)品有哪些——典型產(chǎn)品 182
7.3.1 產(chǎn)品列表 182
7.3.2 Ambari產(chǎn)品介紹 183
7.3.3 實(shí)施建議 184
第8章 數(shù)據(jù)質(zhì)量管理 185
8.1 數(shù)據(jù)質(zhì)量信息存儲(chǔ) 186
8.2 數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái) 186
8.2.1 采集管理 187
8.2.2 規(guī)則管理 188
8.2.3 告警管理 193
8.2.4 申告處理 195
8.2.5 知識(shí)總結(jié) 196
8.2.6 質(zhì)量報(bào)告 197
8.2.7 任務(wù)調(diào)度 197
8.3 數(shù)據(jù)質(zhì)量應(yīng)用功能 198
附錄A 某公司大數(shù)據(jù)系統(tǒng)建設(shè)案例 201
附錄B SH公司大數(shù)據(jù)PaaS平臺(tái)實(shí)施經(jīng)驗(yàn) 215
附錄C FJ公司關(guān)于大數(shù)據(jù)高速路況實(shí)時(shí)監(jiān)測(cè)項(xiàng)目實(shí)施經(jīng)驗(yàn) 221
附錄D 其他公司大數(shù)據(jù)案例 229
附錄E D-Docker技術(shù)原理 241
走近大數(shù)據(jù) 作者簡(jiǎn)介
段云峰北京郵電大學(xué)CTI技術(shù)研究中心博士生,長(zhǎng)期從事 CTI領(lǐng)域技術(shù)研究,F(xiàn)任職于中國(guó)移動(dòng)通信集團(tuán)公司研究開發(fā)中心。承擔(dān)了國(guó)內(nèi)很大電信運(yùn)營(yíng)商的數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)中心的設(shè)計(jì)和建設(shè)、運(yùn)營(yíng)工作,積累了多年的大數(shù)據(jù)領(lǐng)域的實(shí)際工作經(jīng)驗(yàn)。帶領(lǐng)相關(guān)的團(tuán)隊(duì),從系統(tǒng)創(chuàng)建到系統(tǒng)運(yùn)營(yíng),開發(fā)了很多大數(shù)據(jù)領(lǐng)域的各種應(yīng)用,積累了國(guó)內(nèi)的大數(shù)據(jù)在大企業(yè)建設(shè)、運(yùn)營(yíng)方面的經(jīng)驗(yàn)。
- >
推拿
- >
有舍有得是人生
- >
我與地壇
- >
伯納黛特,你要去哪(2021新版)
- >
朝聞道
- >
月亮虎
- >
月亮與六便士
- >
上帝之肋:男人的真實(shí)旅程