掃一掃
關(guān)注中圖網(wǎng)
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰(zhàn)行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調(diào)優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
Python大數(shù)據(jù)架構(gòu)全棧開發(fā)與應用 版權(quán)信息
- ISBN：9787121453038
- 條形碼：9787121453038 ; 978-7-121-45303-8
- 裝幀：平裝
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
Python大數(shù)據(jù)架構(gòu)全棧開發(fā)與應用 本書特色
"《Python大數(shù)據(jù)架構(gòu)全棧開發(fā)與應用》的核心價值：助您迅速了解場景和需求/框架和組件/技術(shù)迭代和升級/應用擴展和二次開發(fā)/平衡技術(shù)性能、穩(wěn)定性、開發(fā)效率、運維便利性、技術(shù)趨勢及成本。 目標讀者： 本書適合高等院校的在校學生、數(shù)據(jù)運營人員、Python開發(fā)者，以及希望轉(zhuǎn)型為Python開發(fā)者的讀者使用。"
Python大數(shù)據(jù)架構(gòu)全棧開發(fā)與應用 內(nèi)容簡介
本書介紹了如何使用 Python 實現(xiàn)企業(yè)級的大數(shù)據(jù)全棧式開發(fā)、設計和編程工作，涉及的知識點包括數(shù)據(jù)架構(gòu)整體設計、數(shù)據(jù)源和數(shù)據(jù)采集、數(shù)據(jù)同步、消息隊列、關(guān)系數(shù)據(jù)庫、NoSQL 數(shù)據(jù)庫、批處理、流處理、圖計算、人工智能、數(shù)據(jù)產(chǎn)品開發(fā)。 本書既深入淺出地介紹了不同技術(shù)組件的基本原理，又通過詳細對比介紹了如何根據(jù)不同場景選擇很好實踐技術(shù)方案，并通過代碼實操幫助讀者快速掌握常用技術(shù)的應用過程，*后通過項目案例介紹了如何將所學知識應用于實際業(yè)務場景中。
Python大數(shù)據(jù)架構(gòu)全棧開發(fā)與應用 目錄
第1章 數(shù)據(jù)架構(gòu)整體設計 1
1.1 數(shù)據(jù)架構(gòu)概述 1
1.2 數(shù)據(jù)架構(gòu)設計的8個考慮因素 1
1.2.1 適用性 2
1.2.2 延伸性 2
1.2.3 安全性 3
1.2.4 易用性 3
1.2.5 高性能 4
1.2.6 成本 5
1.2.7 應用需求 5
1.2.8 運維管理 5
1.3 數(shù)據(jù)架構(gòu)設計的4個核心內(nèi)容 6
1.3.1 物理架構(gòu) 6
1.3.2 邏輯架構(gòu) 10
1.3.3 技術(shù)架構(gòu) 13
1.3.4 數(shù)據(jù)流架構(gòu) 15
1.4 常見的6種數(shù)據(jù)架構(gòu) 17
1.4.1 簡單數(shù)據(jù)庫支撐的數(shù)據(jù)架構(gòu) 17
1.4.2 傳統(tǒng)數(shù)倉支撐的數(shù)據(jù)架構(gòu) 18
1.4.3 傳統(tǒng)大數(shù)據(jù)架構(gòu) 20
1.4.4 流式大數(shù)據(jù)架構(gòu) 22
1.4.5 流批一體大數(shù)據(jù)架構(gòu) 23
1.4.6 存算分離的流批一體大數(shù)據(jù)架構(gòu) 25
1.5 案例：某B2B企業(yè)的數(shù)據(jù)架構(gòu)選型 26
1.5.1 企業(yè)背景 26
1.5.2 應用預期 27
1.5.3 數(shù)據(jù)現(xiàn)狀 27
1.5.4 選型分析 27
1.5.5 選型方案 28
1.5.6 未來拓展 29
1.6 常見問題 29
第2章 數(shù)據(jù)源和數(shù)據(jù)采集 32
2.1 數(shù)據(jù)源概述 32
2.1.1 常見的3種數(shù)據(jù)類型 32
2.1.2 常見的8種數(shù)據(jù)源 33
2.2 企業(yè)內(nèi)部流量數(shù)據(jù)采集技術(shù)選型 33
2.2.1 企業(yè)內(nèi)部流量數(shù)據(jù)采集常用的技術(shù) 34
2.2.2 內(nèi)部流量數(shù)據(jù)采集技術(shù)選型的因素 37
2.2.3 內(nèi)部流量數(shù)據(jù)采集技術(shù)選型總結(jié) 39
2.3 企業(yè)外部互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)選型 40
2.3.1 外部互聯(lián)網(wǎng)數(shù)據(jù)采集常用的4種技術(shù) 40
2.3.2 外部互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)選型的5個因素 44
2.3.3 外部互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)選型總結(jié) 44
2.4 使用Requests+BeautifulSoup抓取數(shù)據(jù)并寫入Sqlite 45
2.4.1 安裝配置 45
2.4.2 基本示例 46
2.4.3 高級用法 47
2.4.4 技術(shù)要點 53
2.5 使用Scrapy+XPath抓取數(shù)據(jù)并寫入MongoDB 54
2.5.1 安裝配置 54
2.5.2 基本示例 55
2.5.3 高級用法 62
2.5.4 技術(shù)要點 69
2.6 案例：某B2C電商企業(yè)的數(shù)據(jù)源結(jié)構(gòu) 69
2.6.1 企業(yè)背景 69
2.6.2 業(yè)務系統(tǒng) 69
2.6.3 數(shù)據(jù)源結(jié)構(gòu) 71
2.7 常見問題 71
第3章 數(shù)據(jù)同步 74
3.1 數(shù)據(jù)同步概述 74
3.1.1 數(shù)據(jù)同步的3種模式 74
3.1.2 數(shù)據(jù)同步的5種預處理技術(shù) 75
3.2 數(shù)據(jù)同步的技術(shù)選型 76
3.2.1 數(shù)據(jù)同步的7種技術(shù) 76
3.2.2 數(shù)據(jù)同步選型的9個因素 80
3.2.3 數(shù)據(jù)同步技術(shù)選型總結(jié) 82
3.3 Python操作DataX實現(xiàn)數(shù)據(jù)同步 83
3.3.1 安裝配置 84
3.3.2 基本示例 84
3.3.3 高級用法 89
3.3.4 技術(shù)要點 95
3.4 Python操作第三方庫實現(xiàn)Google Analytics數(shù)據(jù)同步 96
3.4.1 安裝配置 96
3.4.2 基本示例 100
3.4.3 高級用法 104
3.4.4 技術(shù)要點 111
3.5 案例：某O2O企業(yè)離線數(shù)據(jù)同步案例 112
3.6 常見問題 114
第4章 消息隊列 117
4.1 消息隊列概述 117
4.1.1 消息隊列的核心概念 117
4.1.2 選擇消息隊列的3種技術(shù)應用場景 118
4.2 消息隊列的技術(shù)選型 119
4.2.1 常見的6種消息隊列技術(shù) 119
4.2.2 消息隊列技術(shù)選型的4個維度 121
4.2.3 消息隊列技術(shù)選型總結(jié) 123
4.3 Python操作RabbitMQ處理消息隊列服務 124
4.3.1 安裝配置 124
4.3.2 基本示例 125
4.3.3 高級用法 129
4.3.4 技術(shù)要點 131
4.4 Python操作Kafka處理消息隊列服務 132
4.4.1 安裝配置 132
4.4.2 基本示例 135
4.4.3 高級用法 138
4.4.4 技術(shù)要點 139
4.5 Python操作ZeroMQ處理消息隊列服務 140
4.5.1 安裝配置 140
4.5.2 基本示例 140
4.5.3 高級用法 146
4.5.4 技術(shù)要點 150
4.6 案例：利用消息隊列采集電商用戶行為數(shù)據(jù) 151
4.6.1 案例背景 151
4.6.2 主要技術(shù) 151
4.6.3 案例過程 152
4.6.4 案例小結(jié) 155
4.7 常見問題 156
第5章 關(guān)系數(shù)據(jù)庫 158
5.1 關(guān)系數(shù)據(jù)庫概述 158
5.1.1 關(guān)系數(shù)據(jù)庫的相關(guān)概念 158
5.1.2 使用關(guān)系數(shù)據(jù)庫的3種場景 158
5.2 關(guān)系數(shù)據(jù)庫的技術(shù)選型 159
5.2.1 常見的5種技術(shù)選型 159
5.2.2 關(guān)系數(shù)據(jù)庫選型的3個維度 161
5.2.3 關(guān)系數(shù)據(jù)庫技術(shù)選型總結(jié) 162
5.3 使用基于DB-API 2.0規(guī)范的PyMySQL操作MySQL數(shù)據(jù)庫 162
5.3.1 安裝配置 163
5.3.2 基本示例 163
5.3.3 高級用法 165
5.3.4 技術(shù)要點 169
5.4 使用基于ORM技術(shù)的SQLAlchemy操作PostgreSQL數(shù)據(jù)庫 170
5.4.1 安裝配置 170
5.4.2 基本示例 171
5.4.3 高級用法 175
5.4.4 技術(shù)要點 180
5.5 案例：某傳統(tǒng)零售企業(yè)基于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)集市 181
5.5.1 企業(yè)背景 181
5.5.2 企業(yè)為什么選擇SQL Server作為數(shù)據(jù)集市 181
5.5.3 數(shù)據(jù)字典 181
5.5.4 應用場景 183
5.6 常見問題 184
第6章 NoSQL數(shù)據(jù)庫 186
6.1 NoSQL數(shù)據(jù)庫概述 186
6.1.1 NoSQL數(shù)據(jù)庫的相關(guān)概念 186
6.1.2 使用NoSQL數(shù)據(jù)庫的5種場景 187
6.2 不同類型NoSQL數(shù)據(jù)庫的技術(shù)選型 188
6.2.1 常見的3種鍵值數(shù)據(jù)庫技術(shù)選型 188
6.2.2 常見的3種文檔型數(shù)據(jù)庫的技術(shù)選型 188
6.2.3 常見的兩種列式存儲數(shù)據(jù)庫的技術(shù)選型 190
6.2.4 常見的兩種圖數(shù)據(jù)庫的技術(shù)選型 190
6.2.5 NoSQL數(shù)據(jù)庫技術(shù)選型的五大維度 191
6.2.6 NoSQL數(shù)據(jù)庫技術(shù)選型總結(jié) 192
6.3 使用Python操作HBase 193
6.3.1 安裝配置 193
6.3.2 基本示例 195
6.3.3 HBase應用過濾器進行復雜查詢 199
6.3.4 批量操作 201
6.3.5 技術(shù)要點 201
6.4 使用Python操作Redis 202
6.4.1 安裝配置 202
6.4.2 基本示例 203
6.4.3 使用HyperLogLog實現(xiàn)獨立IP計數(shù)器 210
6.4.4 Redis數(shù)據(jù)持久化 212
6.4.5 技術(shù)要點 213
6.5 使用Python操作ES 213
6.5.1 安裝配置 213
6.5.2 基本示例 215
6.5.3 批量加載文檔到ES+使用Kibana進行分析 220
6.5.4 技術(shù)要點 228
6.6 使用Python操作Neo4j 230
6.6.1 安裝配置 230
6.6.2 基本示例 231
6.6.3 APOC 234
6.6.4 技術(shù)要點 236
6.7 使用Python操作MongoDB 237
6.7.1 安裝配置 237
6.7.2 基本示例 237
6.7.3 文檔聚合與管道 239
6.7.4 技術(shù)要點 242
6.8 案例：某菜譜網(wǎng)站基于ES+Redis構(gòu)建智能搜索推薦引擎 243
6.8.1 案例背景 243
6.8.2 為什么選擇ES+Redis 243
6.8.3 系統(tǒng)架構(gòu) 244
6.8.4 相關(guān)要點 245
6.8.5 案例延伸 246
6.9 常見問題 246
第7章 批處理 247
7.1 批處理概述 247
7.1.1 批處理的基本特征 247
7.1.2 批處理的3類應用場景 248
7.2 批處理的技術(shù)選型 248
7.2.1 批處理的5種技術(shù) 248
7.2.2 批處理選型的8個技術(shù)因素 250
7.2.3 批處理選型總結(jié) 251
7.3 Python使用PyHive操作HQL進行批處理 252
7.3.1 安裝配置 252
7.3.2 基本示例 252
7.3.3 數(shù)據(jù)批量加載及處理 256
7.3.4 Hive函數(shù) 259
7.3.5 窗口 268
7.3.6 技術(shù)要點 272
7.4 PySpark操作DataFrame進行批處理 273
7.4.1 安裝配置 273
7.4.2 基本示例 273
7.4.3 常用Spark DataFrame操作示例 277
7.4.4 使用Spark MLlib + DataFrame進行特征工程 281
7.4.5 技術(shù)要點 282
7.5 案例：某B2C企業(yè)基于PySpark實現(xiàn)用戶畫像標簽的構(gòu)建 283
7.6 常見問題 285
第8章 流處理 288
8.1 流處理概述 288
8.1.1 流處理的核心概念 288
8.1.2 流處理的3個特征 289
8.1.3 流處理的適用/不適用場景 289
8.2 流處理的依賴條件 290
8.2.1 流數(shù)據(jù) 290
8.2.2 流式應用 291
8.3 流處理的技術(shù)選型 291
8.3.1 流處理的3種技術(shù) 291
8.3.2 流處理選型的7個技術(shù)因素 295
8.3.3 流處理技術(shù)選型總結(jié) 295
8.4 Python操作Structured Streaming實現(xiàn)流處理 296
8.4.1 安裝配置 296
8.4.2 基本示例 298
8.4.3 高級用法 322
8.4.4 技術(shù)要點 328
8.5 案例：某B2C企業(yè)基于Structured Streaming實現(xiàn)實時話題熱榜統(tǒng)計 330
8.6 常見問題 331
第9章 圖計算 333
9.1 圖計算概述 333
9.1.1 圖計算的特征 333
9.1.2 圖計算的算法和應用場景 334
9.2 圖計算引擎的技術(shù)選型 335
9.2.1 圖計算的8種技術(shù) 335
9.2.2 圖計算選型的8個技術(shù)因素 338
9.2.3 圖計算選型總結(jié) 339
9.3 Python操作GraphFrames實現(xiàn)圖計算 341
9.3.1 安裝配置 341
9.3.2 構(gòu)建圖 341
9.3.3 視圖分析 342
9.3.4 子頂點、子邊和子圖過濾 344
9.3.5 度分析 345
9.3.6 模體查找 346
9.3.7 圖持久化 348
9.3.8 廣度優(yōu)先搜索 348
9.3.9 *短路徑搜索 349
9.3.10 連通分量和強連通分量 351
9.3.11 標簽傳播 351
9.3.12 通用網(wǎng)頁排名和個性化網(wǎng)頁排名 352
9.3.13 三角形計數(shù) 354
9.3.14 技術(shù)要點 355
9.4 案例：基于用戶社交行為的分析 355
9.5 常見問題 359
第10章 人工智能 361
10.1 人工智能概述 361
10.1.1 人工智能的4種應用場景 361
10.1.2 人工智能的12類常用算法介紹 362
10.2 人工智能的技術(shù)選型 366
10.2.1 常見的3種技術(shù)框架 366
10.2.2 人工智能選型的6個因素 368
10.2.3 人工智能選型總結(jié) 369
10.3 PySpark ML的應用實踐 370
10.3.1 準備數(shù)據(jù) 371
10.3.2 特征工程和處理 373
10.3.3 核心算法應用 375
10.3.4 Pipeline式應用 381
10.3.5 訓練和預測拆分及持久化操作 384
10.3.6 超參數(shù)優(yōu)化的實現(xiàn) 386
10.4 案例：某B2C企業(yè)推薦系統(tǒng)的搭建與演進 387
10.4.1 總體設計思想 388
10.4.2 PoC：驗證想法 389
10.4.3 推薦系統(tǒng)的起步 390
10.4.4 完善線上與線下推薦 391
10.4.5 在線實時計算 393
10.5 常見問題 394
第11章 數(shù)據(jù)產(chǎn)品開發(fā) 398
11.1 數(shù)據(jù)產(chǎn)品開發(fā)概述 398
11.2 數(shù)據(jù)產(chǎn)品的路線選型 399
11.3 Python數(shù)據(jù)產(chǎn)品自研的技術(shù)選型 400
11.4 基于Django的產(chǎn)品開發(fā) 401
11.4.1 安裝配置 402
11.4.2 基本示例 402
11.4.3 Django REST Framework 410
11.4.4 技術(shù)要點 416
11.5 案例：某企業(yè)基于Django構(gòu)建內(nèi)部用戶畫像標簽產(chǎn)品 420
11.6 常見問題 421
附錄A Docker安裝使用 422
附錄B 使用EMR搭建Hadoop大數(shù)據(jù)集群 426
1.1 數(shù)據(jù)架構(gòu)概述 1
1.2 數(shù)據(jù)架構(gòu)設計的8個考慮因素 1
1.2.1 適用性 2
1.2.2 延伸性 2
1.2.3 安全性 3
1.2.4 易用性 3
1.2.5 高性能 4
1.2.6 成本 5
1.2.7 應用需求 5
1.2.8 運維管理 5
1.3 數(shù)據(jù)架構(gòu)設計的4個核心內(nèi)容 6
1.3.1 物理架構(gòu) 6
1.3.2 邏輯架構(gòu) 10
1.3.3 技術(shù)架構(gòu) 13
1.3.4 數(shù)據(jù)流架構(gòu) 15
1.4 常見的6種數(shù)據(jù)架構(gòu) 17
1.4.1 簡單數(shù)據(jù)庫支撐的數(shù)據(jù)架構(gòu) 17
1.4.2 傳統(tǒng)數(shù)倉支撐的數(shù)據(jù)架構(gòu) 18
1.4.3 傳統(tǒng)大數(shù)據(jù)架構(gòu) 20
1.4.4 流式大數(shù)據(jù)架構(gòu) 22
1.4.5 流批一體大數(shù)據(jù)架構(gòu) 23
1.4.6 存算分離的流批一體大數(shù)據(jù)架構(gòu) 25
1.5 案例：某B2B企業(yè)的數(shù)據(jù)架構(gòu)選型 26
1.5.1 企業(yè)背景 26
1.5.2 應用預期 27
1.5.3 數(shù)據(jù)現(xiàn)狀 27
1.5.4 選型分析 27
1.5.5 選型方案 28
1.5.6 未來拓展 29
1.6 常見問題 29
第2章 數(shù)據(jù)源和數(shù)據(jù)采集 32
2.1 數(shù)據(jù)源概述 32
2.1.1 常見的3種數(shù)據(jù)類型 32
2.1.2 常見的8種數(shù)據(jù)源 33
2.2 企業(yè)內(nèi)部流量數(shù)據(jù)采集技術(shù)選型 33
2.2.1 企業(yè)內(nèi)部流量數(shù)據(jù)采集常用的技術(shù) 34
2.2.2 內(nèi)部流量數(shù)據(jù)采集技術(shù)選型的因素 37
2.2.3 內(nèi)部流量數(shù)據(jù)采集技術(shù)選型總結(jié) 39
2.3 企業(yè)外部互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)選型 40
2.3.1 外部互聯(lián)網(wǎng)數(shù)據(jù)采集常用的4種技術(shù) 40
2.3.2 外部互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)選型的5個因素 44
2.3.3 外部互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)選型總結(jié) 44
2.4 使用Requests+BeautifulSoup抓取數(shù)據(jù)并寫入Sqlite 45
2.4.1 安裝配置 45
2.4.2 基本示例 46
2.4.3 高級用法 47
2.4.4 技術(shù)要點 53
2.5 使用Scrapy+XPath抓取數(shù)據(jù)并寫入MongoDB 54
2.5.1 安裝配置 54
2.5.2 基本示例 55
2.5.3 高級用法 62
2.5.4 技術(shù)要點 69
2.6 案例：某B2C電商企業(yè)的數(shù)據(jù)源結(jié)構(gòu) 69
2.6.1 企業(yè)背景 69
2.6.2 業(yè)務系統(tǒng) 69
2.6.3 數(shù)據(jù)源結(jié)構(gòu) 71
2.7 常見問題 71
第3章 數(shù)據(jù)同步 74
3.1 數(shù)據(jù)同步概述 74
3.1.1 數(shù)據(jù)同步的3種模式 74
3.1.2 數(shù)據(jù)同步的5種預處理技術(shù) 75
3.2 數(shù)據(jù)同步的技術(shù)選型 76
3.2.1 數(shù)據(jù)同步的7種技術(shù) 76
3.2.2 數(shù)據(jù)同步選型的9個因素 80
3.2.3 數(shù)據(jù)同步技術(shù)選型總結(jié) 82
3.3 Python操作DataX實現(xiàn)數(shù)據(jù)同步 83
3.3.1 安裝配置 84
3.3.2 基本示例 84
3.3.3 高級用法 89
3.3.4 技術(shù)要點 95
3.4 Python操作第三方庫實現(xiàn)Google Analytics數(shù)據(jù)同步 96
3.4.1 安裝配置 96
3.4.2 基本示例 100
3.4.3 高級用法 104
3.4.4 技術(shù)要點 111
3.5 案例：某O2O企業(yè)離線數(shù)據(jù)同步案例 112
3.6 常見問題 114
第4章 消息隊列 117
4.1 消息隊列概述 117
4.1.1 消息隊列的核心概念 117
4.1.2 選擇消息隊列的3種技術(shù)應用場景 118
4.2 消息隊列的技術(shù)選型 119
4.2.1 常見的6種消息隊列技術(shù) 119
4.2.2 消息隊列技術(shù)選型的4個維度 121
4.2.3 消息隊列技術(shù)選型總結(jié) 123
4.3 Python操作RabbitMQ處理消息隊列服務 124
4.3.1 安裝配置 124
4.3.2 基本示例 125
4.3.3 高級用法 129
4.3.4 技術(shù)要點 131
4.4 Python操作Kafka處理消息隊列服務 132
4.4.1 安裝配置 132
4.4.2 基本示例 135
4.4.3 高級用法 138
4.4.4 技術(shù)要點 139
4.5 Python操作ZeroMQ處理消息隊列服務 140
4.5.1 安裝配置 140
4.5.2 基本示例 140
4.5.3 高級用法 146
4.5.4 技術(shù)要點 150
4.6 案例：利用消息隊列采集電商用戶行為數(shù)據(jù) 151
4.6.1 案例背景 151
4.6.2 主要技術(shù) 151
4.6.3 案例過程 152
4.6.4 案例小結(jié) 155
4.7 常見問題 156
第5章 關(guān)系數(shù)據(jù)庫 158
5.1 關(guān)系數(shù)據(jù)庫概述 158
5.1.1 關(guān)系數(shù)據(jù)庫的相關(guān)概念 158
5.1.2 使用關(guān)系數(shù)據(jù)庫的3種場景 158
5.2 關(guān)系數(shù)據(jù)庫的技術(shù)選型 159
5.2.1 常見的5種技術(shù)選型 159
5.2.2 關(guān)系數(shù)據(jù)庫選型的3個維度 161
5.2.3 關(guān)系數(shù)據(jù)庫技術(shù)選型總結(jié) 162
5.3 使用基于DB-API 2.0規(guī)范的PyMySQL操作MySQL數(shù)據(jù)庫 162
5.3.1 安裝配置 163
5.3.2 基本示例 163
5.3.3 高級用法 165
5.3.4 技術(shù)要點 169
5.4 使用基于ORM技術(shù)的SQLAlchemy操作PostgreSQL數(shù)據(jù)庫 170
5.4.1 安裝配置 170
5.4.2 基本示例 171
5.4.3 高級用法 175
5.4.4 技術(shù)要點 180
5.5 案例：某傳統(tǒng)零售企業(yè)基于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)集市 181
5.5.1 企業(yè)背景 181
5.5.2 企業(yè)為什么選擇SQL Server作為數(shù)據(jù)集市 181
5.5.3 數(shù)據(jù)字典 181
5.5.4 應用場景 183
5.6 常見問題 184
第6章 NoSQL數(shù)據(jù)庫 186
6.1 NoSQL數(shù)據(jù)庫概述 186
6.1.1 NoSQL數(shù)據(jù)庫的相關(guān)概念 186
6.1.2 使用NoSQL數(shù)據(jù)庫的5種場景 187
6.2 不同類型NoSQL數(shù)據(jù)庫的技術(shù)選型 188
6.2.1 常見的3種鍵值數(shù)據(jù)庫技術(shù)選型 188
6.2.2 常見的3種文檔型數(shù)據(jù)庫的技術(shù)選型 188
6.2.3 常見的兩種列式存儲數(shù)據(jù)庫的技術(shù)選型 190
6.2.4 常見的兩種圖數(shù)據(jù)庫的技術(shù)選型 190
6.2.5 NoSQL數(shù)據(jù)庫技術(shù)選型的五大維度 191
6.2.6 NoSQL數(shù)據(jù)庫技術(shù)選型總結(jié) 192
6.3 使用Python操作HBase 193
6.3.1 安裝配置 193
6.3.2 基本示例 195
6.3.3 HBase應用過濾器進行復雜查詢 199
6.3.4 批量操作 201
6.3.5 技術(shù)要點 201
6.4 使用Python操作Redis 202
6.4.1 安裝配置 202
6.4.2 基本示例 203
6.4.3 使用HyperLogLog實現(xiàn)獨立IP計數(shù)器 210
6.4.4 Redis數(shù)據(jù)持久化 212
6.4.5 技術(shù)要點 213
6.5 使用Python操作ES 213
6.5.1 安裝配置 213
6.5.2 基本示例 215
6.5.3 批量加載文檔到ES+使用Kibana進行分析 220
6.5.4 技術(shù)要點 228
6.6 使用Python操作Neo4j 230
6.6.1 安裝配置 230
6.6.2 基本示例 231
6.6.3 APOC 234
6.6.4 技術(shù)要點 236
6.7 使用Python操作MongoDB 237
6.7.1 安裝配置 237
6.7.2 基本示例 237
6.7.3 文檔聚合與管道 239
6.7.4 技術(shù)要點 242
6.8 案例：某菜譜網(wǎng)站基于ES+Redis構(gòu)建智能搜索推薦引擎 243
6.8.1 案例背景 243
6.8.2 為什么選擇ES+Redis 243
6.8.3 系統(tǒng)架構(gòu) 244
6.8.4 相關(guān)要點 245
6.8.5 案例延伸 246
6.9 常見問題 246
第7章 批處理 247
7.1 批處理概述 247
7.1.1 批處理的基本特征 247
7.1.2 批處理的3類應用場景 248
7.2 批處理的技術(shù)選型 248
7.2.1 批處理的5種技術(shù) 248
7.2.2 批處理選型的8個技術(shù)因素 250
7.2.3 批處理選型總結(jié) 251
7.3 Python使用PyHive操作HQL進行批處理 252
7.3.1 安裝配置 252
7.3.2 基本示例 252
7.3.3 數(shù)據(jù)批量加載及處理 256
7.3.4 Hive函數(shù) 259
7.3.5 窗口 268
7.3.6 技術(shù)要點 272
7.4 PySpark操作DataFrame進行批處理 273
7.4.1 安裝配置 273
7.4.2 基本示例 273
7.4.3 常用Spark DataFrame操作示例 277
7.4.4 使用Spark MLlib + DataFrame進行特征工程 281
7.4.5 技術(shù)要點 282
7.5 案例：某B2C企業(yè)基于PySpark實現(xiàn)用戶畫像標簽的構(gòu)建 283
7.6 常見問題 285
第8章 流處理 288
8.1 流處理概述 288
8.1.1 流處理的核心概念 288
8.1.2 流處理的3個特征 289
8.1.3 流處理的適用/不適用場景 289
8.2 流處理的依賴條件 290
8.2.1 流數(shù)據(jù) 290
8.2.2 流式應用 291
8.3 流處理的技術(shù)選型 291
8.3.1 流處理的3種技術(shù) 291
8.3.2 流處理選型的7個技術(shù)因素 295
8.3.3 流處理技術(shù)選型總結(jié) 295
8.4 Python操作Structured Streaming實現(xiàn)流處理 296
8.4.1 安裝配置 296
8.4.2 基本示例 298
8.4.3 高級用法 322
8.4.4 技術(shù)要點 328
8.5 案例：某B2C企業(yè)基于Structured Streaming實現(xiàn)實時話題熱榜統(tǒng)計 330
8.6 常見問題 331
第9章 圖計算 333
9.1 圖計算概述 333
9.1.1 圖計算的特征 333
9.1.2 圖計算的算法和應用場景 334
9.2 圖計算引擎的技術(shù)選型 335
9.2.1 圖計算的8種技術(shù) 335
9.2.2 圖計算選型的8個技術(shù)因素 338
9.2.3 圖計算選型總結(jié) 339
9.3 Python操作GraphFrames實現(xiàn)圖計算 341
9.3.1 安裝配置 341
9.3.2 構(gòu)建圖 341
9.3.3 視圖分析 342
9.3.4 子頂點、子邊和子圖過濾 344
9.3.5 度分析 345
9.3.6 模體查找 346
9.3.7 圖持久化 348
9.3.8 廣度優(yōu)先搜索 348
9.3.9 *短路徑搜索 349
9.3.10 連通分量和強連通分量 351
9.3.11 標簽傳播 351
9.3.12 通用網(wǎng)頁排名和個性化網(wǎng)頁排名 352
9.3.13 三角形計數(shù) 354
9.3.14 技術(shù)要點 355
9.4 案例：基于用戶社交行為的分析 355
9.5 常見問題 359
第10章 人工智能 361
10.1 人工智能概述 361
10.1.1 人工智能的4種應用場景 361
10.1.2 人工智能的12類常用算法介紹 362
10.2 人工智能的技術(shù)選型 366
10.2.1 常見的3種技術(shù)框架 366
10.2.2 人工智能選型的6個因素 368
10.2.3 人工智能選型總結(jié) 369
10.3 PySpark ML的應用實踐 370
10.3.1 準備數(shù)據(jù) 371
10.3.2 特征工程和處理 373
10.3.3 核心算法應用 375
10.3.4 Pipeline式應用 381
10.3.5 訓練和預測拆分及持久化操作 384
10.3.6 超參數(shù)優(yōu)化的實現(xiàn) 386
10.4 案例：某B2C企業(yè)推薦系統(tǒng)的搭建與演進 387
10.4.1 總體設計思想 388
10.4.2 PoC：驗證想法 389
10.4.3 推薦系統(tǒng)的起步 390
10.4.4 完善線上與線下推薦 391
10.4.5 在線實時計算 393
10.5 常見問題 394
第11章 數(shù)據(jù)產(chǎn)品開發(fā) 398
11.1 數(shù)據(jù)產(chǎn)品開發(fā)概述 398
11.2 數(shù)據(jù)產(chǎn)品的路線選型 399
11.3 Python數(shù)據(jù)產(chǎn)品自研的技術(shù)選型 400
11.4 基于Django的產(chǎn)品開發(fā) 401
11.4.1 安裝配置 402
11.4.2 基本示例 402
11.4.3 Django REST Framework 410
11.4.4 技術(shù)要點 416
11.5 案例：某企業(yè)基于Django構(gòu)建內(nèi)部用戶畫像標簽產(chǎn)品 420
11.6 常見問題 421
附錄A Docker安裝使用 422
附錄B 使用EMR搭建Hadoop大數(shù)據(jù)集群 426
展開全部
Python大數(shù)據(jù)架構(gòu)全棧開發(fā)與應用 相關(guān)資料
"如果沒有良好的技術(shù)視野和實施能力，數(shù)據(jù)驅(qū)動價值很可能是一句空話。我將本書力薦給熱愛數(shù)據(jù)技術(shù)的朋友，特別是數(shù)據(jù)分析師、商業(yè)分析師和數(shù)據(jù)咨詢顧問。相信我，了解這些實用的數(shù)據(jù)技術(shù)知識，對您的工作尤為重要。 —— 王曉東 觸脈咨詢創(chuàng)始人 本書以很好實踐為起點，幫助讀者重新審視企業(yè)在數(shù)據(jù)智能的起始階段應該如何做才會更好。長遠來看，數(shù)據(jù)將變成一個企業(yè)的硬實力和核心競爭力，越來越多的企業(yè)將繼續(xù)投資在數(shù)據(jù)和數(shù)字化轉(zhuǎn)型方面，以提高效率。本書著者將自己的探索心得融入書中，意在指引和勉勵讀者在這場變革中脫穎而出。這還需要實踐者不斷試驗，不斷迭代，這個過程我們一起加油。 —— 姬靜濤 谷歌大中華區(qū)數(shù)據(jù)分析及游戲出海負責人 從一個電商行業(yè)從業(yè)者的視角來看，本書覆蓋了電商行業(yè)數(shù)據(jù)產(chǎn)生以后的收集、傳輸、聚合、存儲、機器學習等技術(shù)領域，以及個性化推薦、商業(yè)智能等業(yè)務領域。這些覆蓋領域均需要經(jīng)過大量的開發(fā)工作才能構(gòu)建起對應的系統(tǒng)平臺。與傳統(tǒng)的編程語言相比，Python由于接近自然語言的編程特征，以及擁有眾多的第三方庫支持，使得其在復雜數(shù)據(jù)處理過程中擁有很高的效率。本書內(nèi)容由淺入深，從基礎理念到架構(gòu)設計，做到了全面覆蓋，對具有一定編程基礎的開發(fā)和運維人員來說是一本很好的工具書。 —— 劉藝 蘭亭集勢技術(shù)總監(jiān)，成都研發(fā)中心總經(jīng)理 作為數(shù)據(jù)從業(yè)者，深知大數(shù)據(jù)領域的廣闊無垠和深不見底，本書以企業(yè)數(shù)字智能和數(shù)據(jù)架構(gòu)為引，細探整個數(shù)據(jù)鏈路，從采集、中間件處理、存儲到挖掘與分析及人工智能實踐，內(nèi)容豐富翔實，完整涵蓋了數(shù)據(jù)從生產(chǎn)到使用的全生命周期，值得不同階段的從業(yè)者細讀。 —— 曹江嵐 金山辦公國際業(yè)務數(shù)據(jù)分析負責人 宋天龍老師深耕數(shù)據(jù)分析領域多年，擁有豐富的數(shù)據(jù)項目經(jīng)驗。在本書中，他立足應用場景，為我們提供了系統(tǒng)的、可操作的實踐指南。全書脈絡清楚，通俗易懂，反映了著者多年的企業(yè)數(shù)據(jù)服務與治理的經(jīng)驗沉淀。本書不僅面向大數(shù)據(jù)領域從業(yè)者，還對試圖在架構(gòu)層面上理解企業(yè)數(shù)據(jù)及數(shù)據(jù)規(guī)劃的人員有很高的參考價值。 —— 李博文 Luvme聯(lián)合創(chuàng)始人 近年來，人工智能對跨境電商領域的影響日趨增大。為了提供更加個性化的購物體驗，基于人工智能的分析和應用顯得格外重要。本書從實戰(zhàn)角度講解了如何利用Python進行數(shù)據(jù)挖掘和數(shù)據(jù)分析的全流程，并進一步透過更多的海內(nèi)外電商典型案例進行詳細剖析，在業(yè)務上可真正指導落地，對于幫助跨境電商企業(yè)洞察消費者購買行為，以及改善銷售轉(zhuǎn)化效果具有實際參考意義，值得讀者反復研究和實踐。 —— 李鋮 細刻網(wǎng)絡CTO 作為數(shù)據(jù)從業(yè)者，這兩年切身體會到技術(shù)日新月異的進步，以及企業(yè)對于數(shù)據(jù)應用不斷增長的創(chuàng)新需求。企業(yè)越來越需要數(shù)據(jù)從業(yè)者轉(zhuǎn)型為全能型人員以快速將產(chǎn)品投入研發(fā)和使用，但技術(shù)的底層邏輯不同直接影響數(shù)據(jù)應用的效果，我們需要這樣一本書來帶領我們了解技術(shù)的底層邏輯，相信宋天龍老師多年來的從業(yè)經(jīng)驗能夠給我們一些不同的思考。 —— 馮鐘曉 聯(lián)合利華飲食策劃部資深CRM經(jīng)理 本書從數(shù)據(jù)的核心價值講起，逐步展開，講到底層的實現(xiàn)，事無巨細地展示了企業(yè)開展數(shù)據(jù)工作時應有的全貌。跟隨本書的內(nèi)容進行實踐，能夠從平地搭建起數(shù)字化的大廈。即使讀者暫時還不能理解書中涉及的所有環(huán)節(jié)的內(nèi)容，也仍然能夠建立起數(shù)據(jù)工作全面的知識框架，拓寬自己在數(shù)據(jù)領域的認知邊界。 —— 孫維 卡車之家智能數(shù)據(jù)中心總監(jiān) "
Python大數(shù)據(jù)架構(gòu)全棧開發(fā)與應用 作者簡介
"宋天龍，觸脈咨詢副總裁、合伙人。負責創(chuàng)新型業(yè)務的架構(gòu)和方案設計、產(chǎn)品與技術(shù)研發(fā)、數(shù)據(jù)團隊建設及管理。 張偉松，現(xiàn)就職于埃森哲，擔任數(shù)據(jù)架構(gòu)師職位。在大數(shù)據(jù)、數(shù)據(jù)分析、云計算等領域有多年的實踐經(jīng)驗，并擁有阿里云、谷歌云等多項專業(yè)認證。"
書友推薦
- >
龍榆生：詞曲概論/大家小書
- >
回憶愛瑪儂
- >
中國人在烏蘇里邊疆區(qū):歷史與人類學概述
- >
人文閱讀與收藏·良友文學叢書:一天的工作
- >
名家?guī)阕x魯迅:朝花夕拾
- >
羅庸西南聯(lián)大授課錄
- >
巴金－再思錄
- >
我從未如此眷戀人間
本類暢銷
