掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
買過本商品的人還買了
大數據平臺基礎架構指南 版權信息
- ISBN：9787121342592
- 條形碼：9787121342592 ; 978-7-121-34259-2
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
大數據平臺基礎架構指南 本書特色
當前不乏大數據具體技術組件的書籍，但卻很少有從大數據平臺整體建設和產品形態的宏觀角度入手來闡釋的。本書重點介紹大數據開發平臺服務構建的整體思路和解決方案，內容涵蓋一個成熟的大數據開發平臺必不可少的各類核心組件：工作流調度系統、集成開發環境、元數據管理系統、數據交換服務、數據可視化服務、數據質量管理服務，以及測試環境的建設等。書中還凝結了作者多年平臺建設的實踐經驗，以及對大數據相關從業人員能力建設和職業規劃的寶貴建議。本書適合廣大志在深入了解大數據平臺建設、開發和應用的在職人員及院校師生。
大數據平臺基礎架構指南 內容簡介
當前不乏大數據具體技術組件的書籍，但卻很少有從大數據平臺整體建設和產品形態的宏觀角度入手來闡釋的。本書重點介紹大數據開發平臺服務構建的整體思路和解決方案，內容涵蓋一個成熟的大數據開發平臺必不可少的各類核心組件：工作流調度系統、集成開發環境、元數據管理系統、數據交換服務、數據可視化服務、數據質量管理服務，以及測試環境的建設等。書中還凝結了作者多年平臺建設的實踐經驗，以及對大數據相關從業人員能力建設和職業規劃的寶貴建議。本書適合廣大志在深入了解大數據平臺建設、開發和應用的在職人員及院校師生。
大數據平臺基礎架構指南 目錄
第1章 大數據平臺整體建設思想 1
1.1 什么是大數據平臺 1
1.2 大數據平臺的建設目標 3
1.2.1 別人的大數據平臺是怎樣的 3
1.2.2 和業內領先的大數據平臺的差距 4
1.2.3 大數據平臺建設目標小結 6
1.3 大數據平臺的建設指導方針 6
1.3.1 組件工具化 7
1.3.2 工具平臺化 8
1.3.3 平臺服務化 9
1.3.4 平臺產品化 10
1.3.5 對中小公司大數據平臺的適用性 11
1.4 大數據平臺的兩種建設路徑 12
1.4.1 垂直業務領域一站到底的建設方式 13
1.4.2 通用組件建設，組合支持業務的方式 13
1.4.3 從蘑菇街平臺的實踐經驗對比兩種建設路徑 14
1.4.4 兩種建設路徑的對比小結 16
第2章 服務意識和產品思想的培養 17
2.1 明確大數據平臺服務能力的評估標準 17
2.1.1 大數據平臺團隊的職能定位 18
2.1.2 打通上下游系統和業務流程的能力 18
2.2 滿足用戶真正的需求 19
2.3 認清服務的代價，做好心理建設 20
2.4 尋找解決服務代價問題的方案 23
2.4.1 路線選擇帶來的代價問題 23
2.4.2 如何降低服務自身的代價 25
2.5 大數據平臺的產品化思想 29
2.5.1 從用戶體驗的角度談產品設計 31
2.5.2 從價值和利益的角度談產品思維 36
2.6 小結 38
第3章 工作流（作業）調度系統 39
3.1 作業調度系統基礎理論 40
3.1.1 調度系統分類 40
3.1.2 工作流調度系統的兩種心法流派 45
3.1.3 工作流調度系統功能特性詳解 49
3.2 Jarvis調度系統產品開發實踐 55
3.2.1 需求定位分析 55
3.2.2 具體功能目標的詳細分析和實踐 57
3.2.3 第二代Jarvis現狀和將來 75
3.3 小結 79
第4章 集成開發環境門戶建設 81
4.1 集成開發環境的功能定位 82
4.1.1 集成開發環境的整體服務思路 83
4.1.2 集成開發環境的具體產品建設目標 86
4.1.3 小結 93
4.2 開發平臺測試環境建設 94
4.2.1 問題背景 94
4.2.2 系統功能性測試環境 95
4.2.3 數據業務類測試環境 96
4.2.4 小結 100
第5章 數據采集、傳輸、交換、同步服務 101
5.1 數據交換服務場景和常見開源方案 102
5.1.1 大數據平臺數據交換服務業務場景 102
5.1.2 常見數據交換服務解決方案介紹 103
5.2 數據交換服務具體產品實踐 110
5.2.1 數據交換服務底層組件 110
5.2.2 數據交換服務管控平臺 113
5.2.3 蘑菇街數據交換服務的實踐現狀和未來改進計劃 118
5.3 用戶行為鏈路分析之日志埋點采集跟蹤方案實踐 120
5.3.1 記日志有什么難的 120
5.3.2 蘑菇街的用戶行為日志采集方案實踐 122
5.3.3 小結 129
第6章 數據可視化平臺 130
6.1 什么是數據可視化平臺 130
6.1.1 數據可視化平臺名詞定義 131
6.1.2 已經有了那么多商業BI系統，為什么還要造輪子 132
6.2 數據可視化平臺產品實踐 134
6.2.1 可視化平臺產品定位和需求分析 135
6.2.2 具體產品功能需求實踐詳解 136
6.2.3 將來的改進目標 146
6.2.4 產品實踐小結 148
第7章 安全與權限管控 149
7.1 權限管理的目標是什么 149
7.1.1 適度安全，降低人為風險 150
7.1.2 隔離環境，提高工作效率 151
7.1.3 權責明晰，規范業務流程 152
7.1.4 權限管理目標小結 153
7.2 如何解決安全和便利的矛盾 153
7.2.1 安全和便利天生矛盾 153
7.2.2 改變角度，轉移目標 154
7.2.3 把握尺度 155
7.2.4 可能的變通措施 157
7.2.5 思想小結 163
7.3 權限管控系統產品方案和技術分析 163
7.3.1 常見開源方案 164
7.3.2 Kerberos 165
7.3.3 Sentry和Ranger 168
7.3.4 Knox 169
7.3.5 開源項目中常見的權限模型概念 169
7.4 基于開發平臺服務入口的權限管控方案 171
7.4.1 權限管控方案實踐 171
7.4.2 底層統一權限管控和平臺邊界權限管控方案對比 173
第8章 數據質量管理 175
8.1 元數據管理平臺 176
8.1.1 元數據管理平臺管理什么 176
8.1.2 元數據管理相關系統方案介紹 180
8.1.3 元數據管理系統工程實踐 183
8.2 DQC數據質量中心 185
8.2.1 DQC數據質量中心業界方案 186
8.2.2 DQC數據質量系統建設實踐 188
8.3 數據質量管理小結 193
第9章 大數據集群遷移經驗談 195
9.1 集群遷移都要面對哪些麻煩事 196
9.1.1 集群和機房外部環境問題 196
9.1.2 平臺自身組件和服務依賴問題 196
9.1.3 業務模式和溝通配合問題 197
9.1.4 業務邏輯和數據正確性問題 198
9.2 集群搬遷方案的總體目標、原則、流程 199
9.3 一些具體問題的分析和實踐 201
9.3.1 如何保證正確性 201
9.3.2 集群數據同步拷貝方案 205
9.3.3 各種無法雙跑的業務場景梳理 207
9.4 小結 208
第10章 談談大數據碼農的職業發展問題 210
10.1 如何成為一名糟糕的大數據平臺工程師 211
10.1.1 我是小白我怕誰 211
10.1.2 敏而好學，不恥下問 212
10.1.3 效率優先，中文至上 213
10.1.4 流行的就是*好的 213
10.1.5 我們的征途，是星辰大海 215
10.1.6 書中自有顏如玉，熱衷閱讀代碼 216
10.1.7 謎之問題的謎之解決方式 218
10.1.8 勤奮好學，但是回頭即忘 220
10.1.9 小結 221
10.2 職業選擇和我們早晚要面對的中年危機問題 222
10.2.1 中年危機，要從娃娃抓起 222
10.2.2 中年危機之抗焦慮指南 223
10.2.3 如何才能獲得自由 225
10.2.4 案例 230
10.2.5 小結 233
1.1 什么是大數據平臺 1
1.2 大數據平臺的建設目標 3
1.2.1 別人的大數據平臺是怎樣的 3
1.2.2 和業內領先的大數據平臺的差距 4
1.2.3 大數據平臺建設目標小結 6
1.3 大數據平臺的建設指導方針 6
1.3.1 組件工具化 7
1.3.2 工具平臺化 8
1.3.3 平臺服務化 9
1.3.4 平臺產品化 10
1.3.5 對中小公司大數據平臺的適用性 11
1.4 大數據平臺的兩種建設路徑 12
1.4.1 垂直業務領域一站到底的建設方式 13
1.4.2 通用組件建設，組合支持業務的方式 13
1.4.3 從蘑菇街平臺的實踐經驗對比兩種建設路徑 14
1.4.4 兩種建設路徑的對比小結 16
第2章 服務意識和產品思想的培養 17
2.1 明確大數據平臺服務能力的評估標準 17
2.1.1 大數據平臺團隊的職能定位 18
2.1.2 打通上下游系統和業務流程的能力 18
2.2 滿足用戶真正的需求 19
2.3 認清服務的代價，做好心理建設 20
2.4 尋找解決服務代價問題的方案 23
2.4.1 路線選擇帶來的代價問題 23
2.4.2 如何降低服務自身的代價 25
2.5 大數據平臺的產品化思想 29
2.5.1 從用戶體驗的角度談產品設計 31
2.5.2 從價值和利益的角度談產品思維 36
2.6 小結 38
第3章 工作流（作業）調度系統 39
3.1 作業調度系統基礎理論 40
3.1.1 調度系統分類 40
3.1.2 工作流調度系統的兩種心法流派 45
3.1.3 工作流調度系統功能特性詳解 49
3.2 Jarvis調度系統產品開發實踐 55
3.2.1 需求定位分析 55
3.2.2 具體功能目標的詳細分析和實踐 57
3.2.3 第二代Jarvis現狀和將來 75
3.3 小結 79
第4章 集成開發環境門戶建設 81
4.1 集成開發環境的功能定位 82
4.1.1 集成開發環境的整體服務思路 83
4.1.2 集成開發環境的具體產品建設目標 86
4.1.3 小結 93
4.2 開發平臺測試環境建設 94
4.2.1 問題背景 94
4.2.2 系統功能性測試環境 95
4.2.3 數據業務類測試環境 96
4.2.4 小結 100
第5章 數據采集、傳輸、交換、同步服務 101
5.1 數據交換服務場景和常見開源方案 102
5.1.1 大數據平臺數據交換服務業務場景 102
5.1.2 常見數據交換服務解決方案介紹 103
5.2 數據交換服務具體產品實踐 110
5.2.1 數據交換服務底層組件 110
5.2.2 數據交換服務管控平臺 113
5.2.3 蘑菇街數據交換服務的實踐現狀和未來改進計劃 118
5.3 用戶行為鏈路分析之日志埋點采集跟蹤方案實踐 120
5.3.1 記日志有什么難的 120
5.3.2 蘑菇街的用戶行為日志采集方案實踐 122
5.3.3 小結 129
第6章 數據可視化平臺 130
6.1 什么是數據可視化平臺 130
6.1.1 數據可視化平臺名詞定義 131
6.1.2 已經有了那么多商業BI系統，為什么還要造輪子 132
6.2 數據可視化平臺產品實踐 134
6.2.1 可視化平臺產品定位和需求分析 135
6.2.2 具體產品功能需求實踐詳解 136
6.2.3 將來的改進目標 146
6.2.4 產品實踐小結 148
第7章 安全與權限管控 149
7.1 權限管理的目標是什么 149
7.1.1 適度安全，降低人為風險 150
7.1.2 隔離環境，提高工作效率 151
7.1.3 權責明晰，規范業務流程 152
7.1.4 權限管理目標小結 153
7.2 如何解決安全和便利的矛盾 153
7.2.1 安全和便利天生矛盾 153
7.2.2 改變角度，轉移目標 154
7.2.3 把握尺度 155
7.2.4 可能的變通措施 157
7.2.5 思想小結 163
7.3 權限管控系統產品方案和技術分析 163
7.3.1 常見開源方案 164
7.3.2 Kerberos 165
7.3.3 Sentry和Ranger 168
7.3.4 Knox 169
7.3.5 開源項目中常見的權限模型概念 169
7.4 基于開發平臺服務入口的權限管控方案 171
7.4.1 權限管控方案實踐 171
7.4.2 底層統一權限管控和平臺邊界權限管控方案對比 173
第8章 數據質量管理 175
8.1 元數據管理平臺 176
8.1.1 元數據管理平臺管理什么 176
8.1.2 元數據管理相關系統方案介紹 180
8.1.3 元數據管理系統工程實踐 183
8.2 DQC數據質量中心 185
8.2.1 DQC數據質量中心業界方案 186
8.2.2 DQC數據質量系統建設實踐 188
8.3 數據質量管理小結 193
第9章 大數據集群遷移經驗談 195
9.1 集群遷移都要面對哪些麻煩事 196
9.1.1 集群和機房外部環境問題 196
9.1.2 平臺自身組件和服務依賴問題 196
9.1.3 業務模式和溝通配合問題 197
9.1.4 業務邏輯和數據正確性問題 198
9.2 集群搬遷方案的總體目標、原則、流程 199
9.3 一些具體問題的分析和實踐 201
9.3.1 如何保證正確性 201
9.3.2 集群數據同步拷貝方案 205
9.3.3 各種無法雙跑的業務場景梳理 207
9.4 小結 208
第10章 談談大數據碼農的職業發展問題 210
10.1 如何成為一名糟糕的大數據平臺工程師 211
10.1.1 我是小白我怕誰 211
10.1.2 敏而好學，不恥下問 212
10.1.3 效率優先，中文至上 213
10.1.4 流行的就是*好的 213
10.1.5 我們的征途，是星辰大海 215
10.1.6 書中自有顏如玉，熱衷閱讀代碼 216
10.1.7 謎之問題的謎之解決方式 218
10.1.8 勤奮好學，但是回頭即忘 220
10.1.9 小結 221
10.2 職業選擇和我們早晚要面對的中年危機問題 222
10.2.1 中年危機，要從娃娃抓起 222
10.2.2 中年危機之抗焦慮指南 223
10.2.3 如何才能獲得自由 225
10.2.4 案例 230
10.2.5 小結 233
展開全部
大數據平臺基礎架構指南 作者簡介
劉旭暉，花名天火，蘑菇街數據平臺資深架構師，負責蘑菇街大數據服務平臺整體產品規劃和架構設計工作；此前多年供職于Intel開源技術中心，是Spark/Hadoop/HBase/Phoenix等開源項目貢獻者；在內核驅動、操作系統中間件、輸入法、瀏覽器等方向均有多年開發經驗。
書友推薦
- >
經典常談
- >
人文閱讀與收藏·良友文學叢書:一天的工作
- >
巴金－再思錄
- >
龍榆生：詞曲概論/大家小書
- >
莉莉和章魚
- >
有舍有得是人生
- >
隨園食單
- >
羅庸西南聯大授課錄
本類暢銷
