-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應(yīng)用
-
>
決戰(zhàn)行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調(diào)優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
KAFKA并不難學(xué):入門進階商業(yè)實戰(zhàn) 版權(quán)信息
- ISBN:9787121352478
- 條形碼:9787121352478 ; 978-7-121-35247-8
- 裝幀:一般膠版紙
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>>
KAFKA并不難學(xué):入門進階商業(yè)實戰(zhàn) 本書特色
適讀人群 :本書適合應(yīng)用想從事Kafka大數(shù)據(jù)處理的專業(yè)技術(shù)人員閱讀,包括但不限于大數(shù)據(jù)相關(guān)應(yīng)用的開發(fā)者、運維者和愛好者。 也適合高等院校、培訓(xùn)結(jié)構(gòu)相關(guān)專業(yè)的師生使用。 通過68個實例進行講解 155分教學(xué)視頻,與圖書同步 免費提供實例素材、源文件 開發(fā)一個完整的監(jiān)控系統(tǒng),代碼提供 短段+短句,便于流暢閱讀 實例的商業(yè)性、應(yīng)用性較強 代碼均有詳細注釋,便于理解
KAFKA并不難學(xué):入門進階商業(yè)實戰(zhàn) 內(nèi)容簡介
《Kafka并不難學(xué)!入門、進階、商業(yè)實戰(zhàn)》基于Kafka 0.10.2.0以上版本,采用“理論+實踐”的形式編寫。全書共68個實例。 《Kafka并不難學(xué)!入門、進階、商業(yè)實戰(zhàn)》共分為4篇:篇,介紹了消息隊列和Kafka、安裝與配置Kafka環(huán)境;第2篇,介紹了Kafka的基礎(chǔ)操作、生產(chǎn)者和消費者、存儲及管理數(shù)據(jù);第3篇,介紹了更不錯的Kafka知識及應(yīng)用,包括安全機制、連接器、流處理、監(jiān)控與測試;第4篇,是對前面知識的綜合及實際應(yīng)用,包括ELK套件整合實戰(zhàn)、Spark實時計算引擎整合實戰(zhàn)、Kafka Eagle監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)實戰(zhàn)。 《Kafka并不難學(xué)!入門、進階、商業(yè)實戰(zhàn)》的每章都配有同步教學(xué)視頻(共計155分鐘)。視頻和圖書具有相同的結(jié)構(gòu),能幫助讀者快速而全面地了解每章的內(nèi)容。本書還免費提供所有案例的源代碼。這些代碼不僅能方便讀者學(xué)習(xí),也能為以后的工作提供便利。 《Kafka并不難學(xué)!入門、進階、商業(yè)實戰(zhàn)》結(jié)構(gòu)清晰、案例豐富、通俗易懂、實用性強。特別適合Kafka系統(tǒng)的初學(xué)者和進階讀者作為自學(xué)教程。另外,本書也適合社會培訓(xùn)學(xué)校作為培訓(xùn)教材,還適合大中專院校的相關(guān)專業(yè)作為教學(xué)參考書。
KAFKA并不難學(xué):入門進階商業(yè)實戰(zhàn) 目錄
第1篇 準備
第1章 了解消息隊列和Kafka 2
1.1 本章教學(xué)視頻說明 2
1.2 消息隊列 2
∟1.2.1 什么是消息隊列 3
∟1.2.2 消息隊列主要有哪些作用 3
1.3 為什么需要Kafka 6
1.4 Kafka的基本概念 7
∟1.4.1 代理、生產(chǎn)者、消費者、消費者組 7
∟1.4.2 主題、分區(qū)、副本、記錄 8
1.5 了解Kafka的工作機制——生產(chǎn)消息/消費消息 9
1.6 Kafka的使用范圍 10
∟1.6.1 Kafka的設(shè)計初衷 10
∟1.6.2 Kafka的特性 11
∟1.6.3 Kafka適用于哪些場景 13
1.7 小結(jié) 14
第2章 安裝及配置Kafka 15
2.1 本章教學(xué)視頻說明 15
2.2 安裝與配置基礎(chǔ)環(huán)境 16
∟2.2.1 安裝并配置Linux操作系統(tǒng) 16
∟2.2.2 實例1:安裝與配置Java運行環(huán)境 18
∟2.2.3 實例2:配置SSH免密碼登錄 21
∟2.2.4 實例3:安裝與配置Zookeeper 23
2.3 實例4:部署Kafka 27
∟2.3.1 單機模式部署 27
∟2.3.2 分布式模式部署 29
2.4 實例5:安裝與配置Kafka監(jiān)控工具 32
∟2.4.1 獲取并編譯Kafka Eagle源代碼 32
∟2.4.2 安裝與配置Kafka Eagle 33
2.5 實例6:編譯Kafka源代碼 37
∟2.5.1 安裝與配置Scala運行環(huán)境 38
∟2.5.2 安裝與配置Gradle 39
∟2.5.3 了解Kafka源代碼的編譯過程 40
2.6 實例7:將Kafka源代碼導(dǎo)入編輯器 42
∟2.6.1 導(dǎo)入IntelliJ IDEA編輯器 42
∟2.6.2 導(dǎo)入Eclipse編輯器 44
2.7 了解元數(shù)據(jù)的存儲分布 46
2.8 了解控制器的選舉流程 48
∟2.8.1 了解控制器的啟動順序 48
∟2.8.2 了解主題分區(qū)Leader節(jié)點的選舉過程 52
∟2.8.3 了解注冊分區(qū)和副本狀態(tài)機 59
∟2.8.4 了解分區(qū)自動均衡和分區(qū)重新分配 61
2.9 小結(jié) 66
——第2篇 入門
第3章 Kafka的基本操作 68
3.1 本章教學(xué)視頻說明 68
3.2 操作Zookeeper集群 68
∟3.2.1 Zookeeper的作用及背景 69
∟3.2.2 實例8:單機模式啟動Zookeeper系統(tǒng) 70
∟3.2.3 實例9:單機模式關(guān)閉Zookeeper系統(tǒng) 72
∟3.2.4 實例10:分布式模式啟動Zookeeper集群 74
3.2.5 實例11:分布式模式關(guān)閉Zookeeper集群 77
3.3 操作Kafka集群 77
∟3.3.1 實例12:單機模式啟動Kafka系統(tǒng) 78
∟3.3.2 實例13:單機模式關(guān)閉Kafka系統(tǒng) 79
∟3.3.3 實例14:分布式模式啟動Kafka集群 81
∟3.3.4 實例15:分布式模式關(guān)閉Kafka集群 84
3.4 管理主題 85
∟3.4.1 什么是主題 86
∟3.4.2 實例16:創(chuàng)建主題 87
∟3.4.3 實例17:查看主題 88
∟3.4.4 實例18:修改主題 92
∟3.4.5 實例19:刪除主題 94
3.5 管理分區(qū)與副本 95
∟3.5.1 分區(qū)和副本的背景及作用 95
∟3.5.2 實例20:修改分區(qū) 96
∟3.5.3 實例21:修改副本數(shù) 97
3.6 小結(jié) 99
第4章 將消息數(shù)據(jù)寫入Kafka系統(tǒng)——生產(chǎn) 100
4.1 本章教學(xué)視頻說明 100
4.2 了解Kafka生產(chǎn)者 101
4.3 使用腳本操作生產(chǎn)者 101
∟4.3.1 實例22:通過監(jiān)控工具查看消息 102
∟4.3.2 實例23:啟動消費者程序,并查看消息 103
4.4 發(fā)送消息到Kafka主題 104
∟4.4.1 了解異步模式 104
∟4.4.2 實例24:生產(chǎn)者用異步模式發(fā)送消息 105
∟4.4.3 了解同步模式 105
∟4.4.4 實例25:生產(chǎn)者用同步模式發(fā)送消息 106
∟4.4.5 多線程發(fā)送消息 107
∟4.4.6 實例26:生產(chǎn)者用單線程發(fā)送消息 107
∟4.4.7 實例27:生產(chǎn)者用多線程發(fā)送消息 110
4.5 配置生產(chǎn)者的屬性 112
4.6 保存對象的各個屬性——序列化 115
∟4.6.1 實例28:序列化一個對象 115
∟4.6.2 實例29:在生產(chǎn)者應(yīng)用程序中實現(xiàn)序列化 117
4.7 自定義主題分區(qū) 122
∟4.7.1 實例30:編寫自定義主題分區(qū)的算法 122
∟4.7.2 實例31:演示自定義分區(qū)類的使用 123
4.8 小結(jié) 125
第5章 從Kafka系統(tǒng)中讀取消息數(shù)據(jù)——消費 126
5.1 本章教學(xué)視頻說明 126
5.2 了解Kafka消費者 126
∟5.2.1 為什么需要消費者組 126
∟5.2.1 消費者和消費者組的區(qū)別 127
∟5.2.2 消費者和分區(qū)的對應(yīng)關(guān)系 127
5.3 使用Kafka系統(tǒng)的腳本操作消費者 130
∟5.3.1 認識消費者新接口 130
∟5.3.2 實例32:用新接口啟動消費者程序,并查看消費者信息 131
∟5.3.3 實例33:用舊接口啟動消費者程序,并查看消費者元數(shù)據(jù)的存儲結(jié)構(gòu) 134
5.4 消費Kafka集群中的主題消息 136
∟5.4.1 主題如何自動獲取分區(qū)和手動分配分區(qū) 137
∟5.4.2 實例34:主題自動/手動獲取分區(qū) 137
∟5.4.3 實例35:反序列化主題消息 140
∟5.4.4 如何提交消息的偏移量 145
∟5.4.5 實例36:使用多線程消費多個分區(qū)的主題 146
5.5 配置消費者的屬性 150
5.6 小結(jié) 151
第6章 存儲及管理數(shù)據(jù) 152
6.1 本章教學(xué)視頻說明 152
6.2 分區(qū)存儲數(shù)據(jù) 152
∟6.2.1 熟悉分區(qū)存儲 153
∟6.2.2 了解消息的格式 154
6.3 清理過期數(shù)據(jù)的兩種方法 155
6.4 網(wǎng)絡(luò)模型和通信流程 156
∟6.4.1 基本數(shù)據(jù)類型 156
∟6.4.2 通信模型 157
∟6.4.3 通信過程 157
6.6 小結(jié) 159
——第3篇 進階
第7章 Kafka安全機制 162
7.1 本章教學(xué)視頻說明 162
7.2 了解Kafka的安全機制 162
∟7.2.1 身份驗證 163
∟7.2.2 權(quán)限控制 163
7.3 使用SSL協(xié)議進行加密和身份驗證 164
∟7.3.1 了解SSL協(xié)議 164
∟7.3.2 實例37:創(chuàng)建SSL密鑰庫,并查看密鑰庫文件 165
∟7.3.3 實例38:創(chuàng)建私有證書 167
∟7.3.4 實例39:導(dǎo)出證書,使用CA對證書進行簽名 170
∟7.3.5 實例40:在服務(wù)端配置SSL協(xié)議,并創(chuàng)建主題 173
∟7.3.6 實例41:在客戶端配置SSL協(xié)議,并讀/寫數(shù)據(jù) 174
7.4 使用SASL協(xié)議進行認證 176
∟7.4.1 給客戶端配置“Java認證和授權(quán)服務(wù)”(JAAS) 176
∟7.4.2 給服務(wù)端配置SASL 178
∟7.4.3 實例42:開啟SASL/Kerberos認證協(xié)議 178
∟7.4.4 實例43:開啟SASL/PLAIN認證協(xié)議 181
∟7.4.5 實例44:開啟SASL/SCRAM認證協(xié)議 184
7.5 權(quán)限控制 187
∟7.5.1 權(quán)限控制的基礎(chǔ)命令 187
∟7.5.2 配置ACL(訪問控制列表) 188
∟7.5.3 實例45:啟動集群 189
∟7.5.4 實例46:查看授權(quán)、添加授權(quán)、刪除授權(quán) 190
7.6 小結(jié) 195
第8章 用Kafka連接器建立數(shù)據(jù)管道 196
8.1 本章教學(xué)視頻說明 196
8.2 認識Kafka連接器 196
∟8.2.1 了解連接器的使用場景 197
∟8.2.2 特性及優(yōu)勢 198
∟8.3 操作Kafka連接器 199
8.3.1 配置Kafka連接器的屬性 199
∟8.3.2 認識應(yīng)用接口——REST API 202
∟8.3.3 實例47:單機模式下,將數(shù)據(jù)導(dǎo)入Kafka主題中 203
∟8.3.4 實例48:單機模式下,將Kafka主題中的數(shù)據(jù)導(dǎo)出 205
∟8.3.5 實例49:分布式模式下,將數(shù)據(jù)導(dǎo)入Kafka主題 206
8.4 實例50:開發(fā)一個簡易的Kafka連接器插件 210
∟8.4.1 編寫Source連接器 211
∟8.4.2 編寫Sink連接器 217
∟8.4.3 打包與部署 220
8.5 小結(jié) 225
第9章 Kafka流處理 226
9.1 本章教學(xué)視頻說明 226
9.2 初識Kafka流處理 227
∟9.2.1 什么是流處理 227
∟9.2.2 什么是流式計算 227
∟9.2.3 為何要使用流處理 228
9.3 了解流處理的架構(gòu) 229
∟9.3.1 流分區(qū)與任務(wù) 230
∟9.3.2 線程模型 232
∟9.3.3 本地狀態(tài)存儲 234
∟9.3.4 容錯性(Failover) 235
9.4 操作KStream和KTable 235
∟9.4.1 流處理的核心概念 236
∟9.4.2 窗口操作 237
∟9.4.3 連接操作 241
∟9.4.4 轉(zhuǎn)換操作 246
∟9.4.5 聚合操作 247
9.5 實例51:利用流處理開發(fā)一個單詞統(tǒng)計程序 248
∟9.5.1 創(chuàng)建Kafka流主題 248
∟9.5.2 統(tǒng)計流主題中單詞出現(xiàn)的頻率 249
∟9.5.3 預(yù)覽操作結(jié)果 250
9.6 實例52:利用Kafka流開發(fā)一個SQL引擎 251
∟9.6.1 構(gòu)建生產(chǎn)流數(shù)據(jù)源 251
∟9.6.2 構(gòu)建Kafka流處理 253
∟9.6.3 構(gòu)建數(shù)據(jù)結(jié)構(gòu)和執(zhí)行SQL邏輯 254
∟9.6.4 觀察操作結(jié)果 255
9.7 小結(jié) 256
第10章 監(jiān)控與測試 257
10.1 本章教學(xué)視頻說明 257
10.2 Kafka的監(jiān)控工具——Kafka Eagle系統(tǒng) 258
∟10.2.1 實例53:管理主題 258
∟10.2.2 實例54:查看消費者組信息 259
∟10.2.3 實例55:查看Kafka與Zookeeper集群的狀態(tài)和性能 263
10.3 測試生產(chǎn)者性能 264
∟10.3.1 了解測試環(huán)境 264
∟10.3.2 認識測試工具 265
∟10.3.3 實例56:利用工具測試生產(chǎn)者性能 266
10.4 測試消費者性能 275
∟10.4.1 了解測試環(huán)境 275
∟10.4.2 認識測試工具 276
∟10.4.3 實例57:利用腳本測試消費者的性能 276
10.4 小結(jié) 280
——第4篇 商業(yè)實戰(zhàn)
第11章 Kafka與ELK套件的整合 282
11.1 本章教學(xué)視頻說明 282
11.2 安裝與配置ELK 283
∟11.2.1 安裝與配置LogStash 283
∟11.2.2 實例58:LogStash的標準輸入與輸出 285
∟11.2.3 安裝與配置ElasticSearch 287
∟11.2.4 實例59:使用ElasticSearch集群的HTTP接口創(chuàng)建索引 292
∟11.2.5 實例60:使用ElasticSearch集群的HTTP接口查看索引 293
∟11.2.6 實例61:使用ElasticSearch集群的HTTP接口添加數(shù)據(jù) 294
∟11.2.7 安裝與配置Kibana 296
∟11.2.8 實例62:啟動并驗證Kibana系統(tǒng) 298
11.3 實例63:實現(xiàn)一個游戲日志實時分析系統(tǒng) 299
∟11.3.1 了解系統(tǒng)要實現(xiàn)的功能 300
∟11.3.2 了解平臺體系架構(gòu) 300
∟11.3.3 采集數(shù)據(jù) 302
∟11.3.4 分流數(shù)據(jù) 304
∟11.3.5 實現(xiàn)數(shù)據(jù)可視化 306
11.4 小結(jié) 308
第12章 Kafka與Spark實時計算引擎的整合 309
12.1 本章教學(xué)視頻說明 309
12.2 介紹Spark背景 310
∟12.2.1 Spark SQL——Spark處理結(jié)構(gòu)化數(shù)據(jù)的模塊 310
∟12.2.2 Spark Streaming——Spark核心應(yīng)用接口的一種擴展 311
∟12.2.3 MLlib——Spark的一個機器學(xué)習(xí)類庫 311
∟12.2.4 GraphX——Spark的一個圖計算框架 311
12.3 準備Spark環(huán)境 311
∟12.3.1 下載Spark基礎(chǔ)安裝包 311
∟12.3.2 安裝與配置Spark集群 312
12.4 操作Spark 315
∟12.4.1 實例64:使用Spark Shell統(tǒng)計單詞出現(xiàn)的頻率 315
∟12.4.2 實例65:使用Spark SQL對單詞權(quán)重進行降序輸出 317
∟12.4.3 實例66:使用Spark Submit統(tǒng)計單詞出現(xiàn)的頻率 319
12.5 實例67:對游戲明細數(shù)據(jù)做實時統(tǒng)計 322
∟12.5.1 了解項目背景和價值 323
∟12.5.2 設(shè)計項目實現(xiàn)架構(gòu) 323
∟12.5.3 編碼步驟一 實現(xiàn)數(shù)據(jù)采集 325
∟12.5.4 編碼步驟二 實現(xiàn)流計算 327
∟12.5.5 編碼步驟三 打包應(yīng)用程序 330
∟12.5.6 編碼步驟四 創(chuàng)建表結(jié)構(gòu) 332
∟12.5.7 編碼步驟五 執(zhí)行應(yīng)用程序 332
∟12.5.8 編碼步驟六 預(yù)覽結(jié)果 333
12.6 小結(jié) 333
第13章 實例68:從零開始設(shè)計一個Kafka監(jiān)控系統(tǒng)——Kafka Eagle 334
13.1 本章教學(xué)視頻說明 334
13.2 了解Kafka Eagle監(jiān)控系統(tǒng) 335
∟13.2.1 設(shè)計的背景 335
∟13.2.2 應(yīng)用場景 336
13.3 從結(jié)構(gòu)上了解Kafka Eagle 337
∟13.3.1 了解Kafka Eagle的整體架構(gòu)和代碼結(jié)構(gòu) 337
∟13.3.2 設(shè)計Kafka Eagle的7大功能模塊 339
13.4 實現(xiàn)Kafka Eagle的功能模塊 347
∟13.4.1 編碼步驟一 實現(xiàn)數(shù)據(jù)面板 347
∟13.4.2 編碼步驟二 實現(xiàn)主題管理 348
∟13.4.3 編碼步驟三 實現(xiàn)消費者實例詳情 350
∟13.4.4 編碼步驟四 實現(xiàn)集群監(jiān)控 350
∟13.4.5 編碼步驟五 實現(xiàn)性能監(jiān)控 351
∟13.4.6 編碼步驟六 實現(xiàn)告警功能 351
∟13.4.7 編碼步驟七 實現(xiàn)系統(tǒng)功能 352
13.5 安裝及使用Kafka Eagle監(jiān)控系統(tǒng) 353
∟13.5.1 準備環(huán)境 353
∟13.5.2 快速部署 354
∟13.5.3 了解Kafka Eagle的基礎(chǔ)命令 358
13.6 小結(jié) 358
KAFKA并不難學(xué):入門進階商業(yè)實戰(zhàn) 作者簡介
鄧杰 資深大數(shù)據(jù)全棧開發(fā)者,極客學(xué)院講師,開源愛好者,博客園博主。 開發(fā)了Kafka系統(tǒng)監(jiān)控管理工具——Kafka Eagle,將其發(fā)布在Github上,深受業(yè)界開發(fā)者贊譽。 作為極客學(xué)院特邀講師期間,制作了多個技術(shù)視頻,講授Hadoop技術(shù)、Kafka技術(shù)等課程,廣受學(xué)員好評。
- >
名家?guī)阕x魯迅:故事新編
- >
山海經(jīng)
- >
龍榆生:詞曲概論/大家小書
- >
唐代進士錄
- >
巴金-再思錄
- >
月亮虎
- >
朝聞道
- >
回憶愛瑪儂