掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
Kafka權威指南 版權信息
- ISBN：9787115473271
- 條形碼：9787115473271 ; 978-7-115-47327-1
- 裝幀：暫無
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
Kafka權威指南 本書特色
本書是關于Kafka的全面教程，主要內容包括：Kafka相對于其他消息隊列系統的優點，主要是它如何匹配大數據平臺開發；詳解Kafka內部設計；用Kafka構建應用的實踐；理解在生產中部署Kafka的方式；如何確保Kafka集群的安全。 本書適合Java開發人員、大數據平臺開發人員以及對分布式系統感興趣的讀者閱讀。
Kafka權威指南 內容簡介
每個應用程序都會產生數據，包括日志消息、度量指標、用戶活動記錄、響應消息等。如何移動數據，幾乎變得與數據本身一樣重要。如果你是架構師、產品工程師，同時也是Apache Kafka新手，那么這本實踐指南將會幫助你成為流式平臺上處理實時數據的專家。 本書由出身于LinkedIn的Kafka核心作者和一線技術人員共同執筆，詳細介紹了如何部署Kafka集群、開發可靠的基于事件驅動的微服務，以及基于Kafka平臺構建可伸縮的流式應用程序。通過詳盡示例，你將會了解到Kafka的設計原則、可靠性保證、關鍵API，以及復制協議、控制器和存儲層等架構細節。 ● 了解發布和訂閱消息模型以及該模型如何被應用在大數據生態系統中 ● 學習使用Kafka生產者和消費者來生成消息和讀取消息 ● 了解Kafka保證可靠性數據傳遞的模式和場景需求 ● 使用Kafka構建數據管道和應用程序的實踐 ● 在生產環境中管理Kafka，包括監控、調優和維護 ● 了解Kafka的關鍵度量指標 ● 探索Kafka如何成為流式處理利器
Kafka權威指南 目錄
序 xiii
前言 xv
第 1 章 初識Kafka 1
1.1 發布與訂閱消息系統 1
1.1.1 如何開始 2
1.1.2 獨立的隊列系統 3
1.2 Kafka登場 4
1.2.1 消息和批次 4
1.2.2 模式 4
1.2.3 主題和分區 5
1.2.4 生產者和消費者 5
1.2.5 broker和集群 6
1.2.6 多集群 7
1.3 為什么選擇Kafka 8
1.3.1 多個生產者 8
1.3.2 多個消費者 8
1.3.3 基于磁盤的數據存儲 9
1.3.4 伸縮性 9
1.3.5 高性能 9
1.4 數據生態系統 9
1.5 起源故事 11
1.5.1 LinkedIn的問題 11
1.5.2 Kafka的誕生 12
1.5.3 走向開源 12
1.5.4 命名 13
1.6 開始Kafka之旅 13
第 2 章 安裝Kafka 14
2.1 要事先行 14
2.1.1 選擇操作系統 14
2.1.2 安裝Java 14
2.1.3 安裝Zookeeper 15
2.2 安裝Kafka Broker 17
2.3 broker配置 18
2.3.1 常規配置 18
2.3.2 主題的默認配置 19
2.4 硬件的選擇 23
2.4.1 磁盤吞吐量 23
2.4.2 磁盤容量 23
2.4.3 內存 23
2.4.4 網絡 24
2.4.5 CPU 24
2.5 云端的Kafka 24
2.6 Kafka集群 24
2.6.1 需要多少個broker 25
2.6.2 broker 配置 25
2.6.3 操作系統調優 26
2.7 生產環境的注意事項 28
2.7.1 垃圾回收器選項 28
2.7.2 數據中心布局 29
2.7.3 共享Zookeeper 29
2.8 總結 30
第 3 章 Kafka生產者——向Kafka寫入數據 31
3.1 生產者概覽 32
3.2 創建Kafka生產者 33
3.3 發送消息到Kafka 34
3.3.1 同步發送消息 35
3.3.2 異步發送消息 35
3.4 生產者的配置 36
3.5 序列化器 39
3.5.1 自定義序列化器 39
3.5.2 使用Avro序列化 41
3.5.3 在Kafka里使用Avro 42
3.6 分區 45
3.7 舊版的生產者API 46
3.8 總結 47
第 4 章 Kafka消費者——從Kafka讀取數據 48
4.1 KafkaConsumer概念 48
4.1.1 消費者和消費者群組 48
4.1.2 消費者群組和分區再均衡 51
4.2 創建Kafka消費者 52
4.3 訂閱主題 53
4.4 輪詢 53
4.5 消費者的配置 55
4.6 提交和偏移量 57
4.6.1 自動提交 58
4.6.2 提交當前偏移量 59
4.6.3 異步提交 59
4.6.4 同步和異步組合提交 61
4.6.5 提交特定的偏移量 61
4.7 再均衡監聽器 62
4.8 從特定偏移量處開始處理記錄 64
4.9 如何退出 66
4.10 反序列化器 67
4.11 獨立消費者——為什么以及怎樣使用沒有群組的消費者 71
4.12 舊版的消費者API 71
4.13 總結 72
第 5 章 深入Kafka 73
5.1 集群成員關系 73
5.2 控制器 74
5.3 復制 74
5.4 處理請求 76
5.4.1 生產請求 78
5.4.2 獲取請求 78
5.4.3 其他請求 80
5.5 物理存儲 81
5.5.1 分區分配 81
5.5.2 文件管理 82
5.5.3 文件格式 83
5.5.4 索引 84
5.5.5 清理 84
5.5.6 清理的工作原理 84
5.5.7 被刪除的事件 86
5.5.8 何時會清理主題 86
5.9 總結 86
第 6 章 可靠的數據傳遞 87
6.1 可靠性保證 87
6.2 復制 88
6.3 broker配置 89
6.3.1 復制系數 89
6.3.2 不完全的首領選舉 90
6.3.3 *少同步副本 91
6.4 在可靠的系統里使用生產者 92
6.4.1 發送確認 92
6.4.2 配置生產者的重試參數 93
6.4.3 額外的錯誤處理 94
6.5 在可靠的系統里使用消費者 94
6.5.1 消費者的可靠性配置 95
6.5.2 顯式提交偏移量 95
6.6 驗證系統可靠性 97
6.6.1 配置驗證 98
6.6.2 應用程序驗證 98
6.6.3 在生產環境監控可靠性 99
6.7 總結 100
第 7 章 構建數據管道 101
7.1 構建數據管道時需要考慮的問題 102
7.1.1 及時性 102
7.1.2 可靠性 102
7.1.3 高吞吐量和動態吞吐量 103
7.1.4 數據格式 103
7.1.5 轉換 104
7.1.6 安全性 104
7.1.7 故障處理能力 104
7.1.8 耦合性和靈活性 105
7.2 如何在Connect API和客戶端API之間作出選擇 105
7.3 Kafka Connect 106
7.3.1 運行Connect 106
7.3.2 連接器示例——文件數據源和文件數據池 107
7.3.3 連接器示例——從MySQL到ElasticSearch 109
7.3.4 深入理解Connect 114
7.4 Connect之外的選擇 116
7.4.1 用于其他數據存儲的攝入框架 116
7.4.2 基于圖形界面的ETL工具 117
7.4.3 流式處理框架 117
7.5 總結 117
第 8 章 跨集群數據鏡像 118
8.1 跨集群鏡像的使用場景 118
8.2 多集群架構 119
8.2.1 跨數據中心通信的一些現實情況 119
8.2.2 Hub和Spoke架構 120
8.2.3 雙活架構 121
8.2.4 主備架構 123
8.2.5 延展集群 127
8.3 Kafka的MirrorMaker 128
8.3.1 如何配置 129
8.3.2 在生產環境部署MirrorMaker 130
8.3.3 MirrorMaker調優 132
8.4 其他跨集群鏡像方案 134
8.4.1 優步的uReplicator 134
8.4.2 Confluent的Replicator 135
8.5 總結 135
第 9 章 管理Kafka 136
9.1 主題操作 136
9.1.1 創建主題 137
9.1.2 增加分區 138
9.1.3 刪除主題 138
9.1.4 列出集群里的所有主題 139
9.1.5 列出主題詳細信息 139
9.2 消費者群組 140
9.2.1 列出并描述群組 140
9.2.2 刪除群組 142
9.2.3 偏移量管理 142
9.3 動態配置變更 143
9.3.1 覆蓋主題的默認配置 143
9.3.2 覆蓋客戶端的默認配置 145
9.3.3 列出被覆蓋的配置 145
9.3.4 移除被覆蓋的配置 146
9.4 分區管理 146
9.4.1 首選的首領選舉 146
9.4.2 修改分區副本 147
9.4.3 修改復制系數 150
9.4.4 轉儲日志片段 151
9.4.5 副本驗證 152
9.5 消費和生產 153
9.5.1 控制臺消費者 153
9.5.2 控制臺生產者 155
9.6 客戶端ACL 157
9.7 不安全的操作 157
9.7.1 移動集群控制器 157
9.7.2 取消分區重分配 157
9.7.3 移除待刪除的主題 158
9.7.4 手動刪除主題 158
9.8 總結 159
第 10 章 監控Kafka 160
10.1 度量指標基礎 160
10.1.1 度量指標在哪里 160
10.1.2 內部或外部度量 161
10.1.3 應用程序健康檢測 161
10.1.4 度量指標的覆蓋面 161
10.2 broker的度量指標 162
10.2.1 非同步分區 162
10.2.2 broker度量指標 166
10.2.3 主題和分區的度量指標 173
10.2.4 Java虛擬機監控 174
10.2.5 操作系統監控 175
10.2.6 日志 176
10.3 客戶端監控 177
10.3.1 生產者度量指標 177
10.3.2 消費者度量指標 179
10.3.3 配額 181
10.4 延時監控 182
10.5 端到端監控 183
10.6 總結 183
第 11 章 流式處理 184
11.1 什么是流式處理 185
11.2 流式處理的一些概念 186
11.2.1 時間 187
11.2.2 狀態 188
11.2.3 流和表的二元性 188
11.2.4 時間窗口 189
11.3 流式處理的設計模式 190
11.3.1 單個事件處理 191
11.3.2 使用本地狀態 191
11.3.3 多階段處理和重分區 193
11.3.4 使用外部查找——流和表的連接 193
11.3.5 流與流的連接 195
11.3.6 亂序的事件 195
11.3.7 重新處理 196
11.4 Streams示例 197
11.4.1 字數統計 197
11.4.2 股票市場統計 199
11.4.3 填充點擊事件流 201
11.5 Kafka Streams的架構概覽 202
11.5.1 構建拓撲 202
11.5.2 對拓撲進行伸縮 203
11.5.3 從故障中存活下來 205
11.6 流式處理使用場景 205
11.7 如何選擇流式處理框架 206
11.8 總結 208
附錄A 在其他操作系統上安裝Kafka 209
作者介紹 214
封面介紹 214
前言 xv
第 1 章 初識Kafka 1
1.1 發布與訂閱消息系統 1
1.1.1 如何開始 2
1.1.2 獨立的隊列系統 3
1.2 Kafka登場 4
1.2.1 消息和批次 4
1.2.2 模式 4
1.2.3 主題和分區 5
1.2.4 生產者和消費者 5
1.2.5 broker和集群 6
1.2.6 多集群 7
1.3 為什么選擇Kafka 8
1.3.1 多個生產者 8
1.3.2 多個消費者 8
1.3.3 基于磁盤的數據存儲 9
1.3.4 伸縮性 9
1.3.5 高性能 9
1.4 數據生態系統 9
1.5 起源故事 11
1.5.1 LinkedIn的問題 11
1.5.2 Kafka的誕生 12
1.5.3 走向開源 12
1.5.4 命名 13
1.6 開始Kafka之旅 13
第 2 章 安裝Kafka 14
2.1 要事先行 14
2.1.1 選擇操作系統 14
2.1.2 安裝Java 14
2.1.3 安裝Zookeeper 15
2.2 安裝Kafka Broker 17
2.3 broker配置 18
2.3.1 常規配置 18
2.3.2 主題的默認配置 19
2.4 硬件的選擇 23
2.4.1 磁盤吞吐量 23
2.4.2 磁盤容量 23
2.4.3 內存 23
2.4.4 網絡 24
2.4.5 CPU 24
2.5 云端的Kafka 24
2.6 Kafka集群 24
2.6.1 需要多少個broker 25
2.6.2 broker 配置 25
2.6.3 操作系統調優 26
2.7 生產環境的注意事項 28
2.7.1 垃圾回收器選項 28
2.7.2 數據中心布局 29
2.7.3 共享Zookeeper 29
2.8 總結 30
第 3 章 Kafka生產者——向Kafka寫入數據 31
3.1 生產者概覽 32
3.2 創建Kafka生產者 33
3.3 發送消息到Kafka 34
3.3.1 同步發送消息 35
3.3.2 異步發送消息 35
3.4 生產者的配置 36
3.5 序列化器 39
3.5.1 自定義序列化器 39
3.5.2 使用Avro序列化 41
3.5.3 在Kafka里使用Avro 42
3.6 分區 45
3.7 舊版的生產者API 46
3.8 總結 47
第 4 章 Kafka消費者——從Kafka讀取數據 48
4.1 KafkaConsumer概念 48
4.1.1 消費者和消費者群組 48
4.1.2 消費者群組和分區再均衡 51
4.2 創建Kafka消費者 52
4.3 訂閱主題 53
4.4 輪詢 53
4.5 消費者的配置 55
4.6 提交和偏移量 57
4.6.1 自動提交 58
4.6.2 提交當前偏移量 59
4.6.3 異步提交 59
4.6.4 同步和異步組合提交 61
4.6.5 提交特定的偏移量 61
4.7 再均衡監聽器 62
4.8 從特定偏移量處開始處理記錄 64
4.9 如何退出 66
4.10 反序列化器 67
4.11 獨立消費者——為什么以及怎樣使用沒有群組的消費者 71
4.12 舊版的消費者API 71
4.13 總結 72
第 5 章 深入Kafka 73
5.1 集群成員關系 73
5.2 控制器 74
5.3 復制 74
5.4 處理請求 76
5.4.1 生產請求 78
5.4.2 獲取請求 78
5.4.3 其他請求 80
5.5 物理存儲 81
5.5.1 分區分配 81
5.5.2 文件管理 82
5.5.3 文件格式 83
5.5.4 索引 84
5.5.5 清理 84
5.5.6 清理的工作原理 84
5.5.7 被刪除的事件 86
5.5.8 何時會清理主題 86
5.9 總結 86
第 6 章 可靠的數據傳遞 87
6.1 可靠性保證 87
6.2 復制 88
6.3 broker配置 89
6.3.1 復制系數 89
6.3.2 不完全的首領選舉 90
6.3.3 *少同步副本 91
6.4 在可靠的系統里使用生產者 92
6.4.1 發送確認 92
6.4.2 配置生產者的重試參數 93
6.4.3 額外的錯誤處理 94
6.5 在可靠的系統里使用消費者 94
6.5.1 消費者的可靠性配置 95
6.5.2 顯式提交偏移量 95
6.6 驗證系統可靠性 97
6.6.1 配置驗證 98
6.6.2 應用程序驗證 98
6.6.3 在生產環境監控可靠性 99
6.7 總結 100
第 7 章 構建數據管道 101
7.1 構建數據管道時需要考慮的問題 102
7.1.1 及時性 102
7.1.2 可靠性 102
7.1.3 高吞吐量和動態吞吐量 103
7.1.4 數據格式 103
7.1.5 轉換 104
7.1.6 安全性 104
7.1.7 故障處理能力 104
7.1.8 耦合性和靈活性 105
7.2 如何在Connect API和客戶端API之間作出選擇 105
7.3 Kafka Connect 106
7.3.1 運行Connect 106
7.3.2 連接器示例——文件數據源和文件數據池 107
7.3.3 連接器示例——從MySQL到ElasticSearch 109
7.3.4 深入理解Connect 114
7.4 Connect之外的選擇 116
7.4.1 用于其他數據存儲的攝入框架 116
7.4.2 基于圖形界面的ETL工具 117
7.4.3 流式處理框架 117
7.5 總結 117
第 8 章 跨集群數據鏡像 118
8.1 跨集群鏡像的使用場景 118
8.2 多集群架構 119
8.2.1 跨數據中心通信的一些現實情況 119
8.2.2 Hub和Spoke架構 120
8.2.3 雙活架構 121
8.2.4 主備架構 123
8.2.5 延展集群 127
8.3 Kafka的MirrorMaker 128
8.3.1 如何配置 129
8.3.2 在生產環境部署MirrorMaker 130
8.3.3 MirrorMaker調優 132
8.4 其他跨集群鏡像方案 134
8.4.1 優步的uReplicator 134
8.4.2 Confluent的Replicator 135
8.5 總結 135
第 9 章 管理Kafka 136
9.1 主題操作 136
9.1.1 創建主題 137
9.1.2 增加分區 138
9.1.3 刪除主題 138
9.1.4 列出集群里的所有主題 139
9.1.5 列出主題詳細信息 139
9.2 消費者群組 140
9.2.1 列出并描述群組 140
9.2.2 刪除群組 142
9.2.3 偏移量管理 142
9.3 動態配置變更 143
9.3.1 覆蓋主題的默認配置 143
9.3.2 覆蓋客戶端的默認配置 145
9.3.3 列出被覆蓋的配置 145
9.3.4 移除被覆蓋的配置 146
9.4 分區管理 146
9.4.1 首選的首領選舉 146
9.4.2 修改分區副本 147
9.4.3 修改復制系數 150
9.4.4 轉儲日志片段 151
9.4.5 副本驗證 152
9.5 消費和生產 153
9.5.1 控制臺消費者 153
9.5.2 控制臺生產者 155
9.6 客戶端ACL 157
9.7 不安全的操作 157
9.7.1 移動集群控制器 157
9.7.2 取消分區重分配 157
9.7.3 移除待刪除的主題 158
9.7.4 手動刪除主題 158
9.8 總結 159
第 10 章 監控Kafka 160
10.1 度量指標基礎 160
10.1.1 度量指標在哪里 160
10.1.2 內部或外部度量 161
10.1.3 應用程序健康檢測 161
10.1.4 度量指標的覆蓋面 161
10.2 broker的度量指標 162
10.2.1 非同步分區 162
10.2.2 broker度量指標 166
10.2.3 主題和分區的度量指標 173
10.2.4 Java虛擬機監控 174
10.2.5 操作系統監控 175
10.2.6 日志 176
10.3 客戶端監控 177
10.3.1 生產者度量指標 177
10.3.2 消費者度量指標 179
10.3.3 配額 181
10.4 延時監控 182
10.5 端到端監控 183
10.6 總結 183
第 11 章 流式處理 184
11.1 什么是流式處理 185
11.2 流式處理的一些概念 186
11.2.1 時間 187
11.2.2 狀態 188
11.2.3 流和表的二元性 188
11.2.4 時間窗口 189
11.3 流式處理的設計模式 190
11.3.1 單個事件處理 191
11.3.2 使用本地狀態 191
11.3.3 多階段處理和重分區 193
11.3.4 使用外部查找——流和表的連接 193
11.3.5 流與流的連接 195
11.3.6 亂序的事件 195
11.3.7 重新處理 196
11.4 Streams示例 197
11.4.1 字數統計 197
11.4.2 股票市場統計 199
11.4.3 填充點擊事件流 201
11.5 Kafka Streams的架構概覽 202
11.5.1 構建拓撲 202
11.5.2 對拓撲進行伸縮 203
11.5.3 從故障中存活下來 205
11.6 流式處理使用場景 205
11.7 如何選擇流式處理框架 206
11.8 總結 208
附錄A 在其他操作系統上安裝Kafka 209
作者介紹 214
封面介紹 214
展開全部
Kafka權威指南 作者簡介
Neha Narkhede， Confluent聯合創始人、CTO，曾在LinkedIn主導基于Kafka和Apache Samza構建流式基礎設施，是Kafka作者之一。 Gwen Shapira， Confluent系統架構師，幫助客戶構建基于Kafka的系統，在可伸縮數據架構方面擁有十余年經驗；曾任Cloudera公司解決方案架構師。另著有《Hadoop應用架構》。 Todd Palino， LinkedIn主任級SRE，負責部署管理大型的Kafka、Zookeeper和Samza集群。 【譯者簡介】 薛命燈，畢業于廈門大學軟件學院，十余年軟件開發和架構經驗，InfoQ社區編輯。譯有《硅谷革命》《生產微服務》等書。微信公眾號CodeDeep。
書友推薦
- >
上帝之肋:男人的真實旅程
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
史學評論
- >
隨園食單
- >
龍榆生：詞曲概論/大家小書
- >
名家帶你讀魯迅:朝花夕拾
- >
姑媽的寶刀
- >
山海經
本類暢銷
