-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應(yīng)用
-
>
決戰(zhàn)行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調(diào)優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
ClickHouse性能之巔:從架構(gòu)設(shè)計解讀性能之謎 版權(quán)信息
- ISBN:9787111716587
- 條形碼:9787111716587 ; 978-7-111-71658-7
- 裝幀:一般膠版紙
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>
ClickHouse性能之巔:從架構(gòu)設(shè)計解讀性能之謎 本書特色
適讀人群 :數(shù)據(jù)庫工程師、數(shù)倉工程師、大數(shù)據(jù)工程師、架構(gòu)師及對clickhouse感興趣的軟件研發(fā)工程師。中高級水平可以閱讀(1)作者經(jīng)驗豐富:作者是滴普科技合伙人兼首席架構(gòu)師,在ClickHouse方面積累了大量的實戰(zhàn)經(jīng)驗。 (2)重在授人以漁:通過剖析ClickHouse底層引擎的架構(gòu)設(shè)計來解密ClickHouse高性能背后的底層邏輯。 (3)同時授人以漁:結(jié)合ClickHouse的應(yīng)用場景,總結(jié)了大量的使用技巧和性能優(yōu)化方法。 (4)近10位專家聯(lián)袂推薦:滴普科技聯(lián)合創(chuàng)始人楊磊、京東云數(shù)據(jù)庫研發(fā)負(fù)責(zé)人高新剛、ClickHouse 中國社區(qū)創(chuàng)始人郭煒等近10位專家強烈推薦。
ClickHouse性能之巔:從架構(gòu)設(shè)計解讀性能之謎 內(nèi)容簡介
這是一本通過分析ClickHouse底層引擎架構(gòu)來解讀ClickHouse極致性能的底層邏輯的著作,同時還總結(jié)了ClickHouse在各種適用場景中的使用技巧和性能調(diào)優(yōu)方法,讓讀者知其然,也能知其所以然。 全書一共12章,分為兩個部分: 第1部分 架構(gòu)篇(第1-7章) 簡要地介紹了數(shù)據(jù)倉庫的核心技術(shù)和思路,系統(tǒng)講解了ClickHouse的查詢性能優(yōu)勢、適用場景、架構(gòu)設(shè)計和運作過程,深入地剖析了ClickHouse的存儲引擎架構(gòu)、計算引擎架構(gòu)以及決定ClickHouse性能的關(guān)鍵因素,還將ClickHouse與其他數(shù)倉架構(gòu)進行了深度對比,不僅闡明了ClickHouse查詢速度快的底層邏輯,也推導(dǎo)出了ClickHouse的適用場景。 第2部分 實戰(zhàn)篇(第8-12章) 針對ClickHouse的適用場景,講解了它的各種使用技巧以及存算分離架構(gòu)、分布式架構(gòu)等云計算時代的全新架構(gòu),更重要的是,從數(shù)據(jù)結(jié)構(gòu)、內(nèi)存、磁盤、網(wǎng)絡(luò)、CPU、查詢等方面全面總結(jié)了ClickHouse的性能優(yōu)化方法和原則。
ClickHouse性能之巔:從架構(gòu)設(shè)計解讀性能之謎 目錄
贊譽
序1
序2
自序
前言
**部分 架構(gòu)篇
第1章 數(shù)據(jù)倉庫的核心技術(shù) 3
1.1 OLAP和OLTP的本質(zhì)區(qū)別 4
1.1.1 數(shù)據(jù)三范式 4
1.1.2 規(guī)范化的意義 6
1.1.3 規(guī)范化的局限 7
1.1.4 數(shù)倉建模的本質(zhì) 7
1.1.5 OLAP和OLTP的底層數(shù)據(jù)模型 8
1.1.6 維度建模 8
1.2 典型大數(shù)據(jù)數(shù)倉技術(shù)及其核心思路 10
1.2.1 Hive 10
1.2.2 HBase 11
1.2.3 Kylin 12
1.2.4 其他數(shù)倉 13
1.3 傳統(tǒng)數(shù)倉的缺陷 13
1.3.1 效率低 13
1.3.2 延遲高 14
1.3.3 成本高 14
1.4 ClickHouse查詢性能的優(yōu)勢 15
1.4.1 向量化引擎 15
1.4.2 高效的數(shù)據(jù)壓縮 16
1.4.3 高效的I/O優(yōu)化 17
1.5 本章小結(jié) 18
第2章 ClickHouse簡介 19
2.1 ClickHouse的4個標(biāo)簽 19
2.1.1 性能強大 19
2.1.2 單機處理能力強 20
2.1.3 成本低 21
2.1.4 不支持事務(wù) 21
2.2 ClickHouse的3個適用場景 22
2.2.1 BI報表的交互式分析 22
2.2.2 互聯(lián)網(wǎng)日志分析 22
2.2.3 廣告營銷 23
2.3 本章小結(jié) 24
第3章 ClickHouse架構(gòu)概覽 25
3.1 ClickHouse架構(gòu)簡介 26
3.2 ClickHouse的核心抽象 27
3.2.1 列和字段 27
3.2.2 數(shù)據(jù)類型 28
3.2.3 塊 32
3.2.4 表 33
3.3 ClickHouse的運作過程 35
3.3.1 數(shù)據(jù)插入過程 35
3.3.2 數(shù)據(jù)查詢過程 35
3.3.3 數(shù)據(jù)更新和數(shù)據(jù)刪除過程 36
3.4 本章小結(jié) 37
第4章 MergeTree存儲引擎架構(gòu) 39
4.1 MergeTree存儲引擎的三大特點 40
4.2 MergeTree的數(shù)據(jù)組織 41
4.2.1 塊 41
4.2.2 數(shù)據(jù)堆放方式 41
4.3 MergeTree的文件組織 43
4.3.1 數(shù)據(jù)文件、元數(shù)據(jù)文件、索引文件和其他文件 45
4.3.2 分區(qū) 47
4.3.3 數(shù)據(jù)庫和表 48
4.4 索引 49
4.4.1 主鍵索引 49
4.4.2 標(biāo)記 49
4.5 與事務(wù)數(shù)據(jù)庫存儲引擎的對比 50
4.6 存儲引擎如何影響查詢速度 52
4.6.1 預(yù)排序 52
4.6.2 列存 52
4.6.3 壓縮 53
4.7 MergeTree存儲引擎的工作過程 53
4.7.1 數(shù)據(jù)庫、數(shù)據(jù)表的創(chuàng)建過程 54
4.7.2 數(shù)據(jù)插入過程 54
4.7.3 分區(qū)合并和刪除過程 54
4.7.4 數(shù)據(jù)讀取過程 56
4.8 本章小結(jié) 59
第5章 ClickHouse計算引擎架構(gòu) 61
5.1 ClickHouse計算引擎的架構(gòu)簡介與設(shè)計思想 61
5.1.1 整體架構(gòu) 62
5.1.2 SQL解析器 62
5.1.3 解釋器 63
5.1.4 執(zhí)行器 63
5.1.5 設(shè)計思想 64
5.2 火山模型 65
5.2.1 火山模型概述 65
5.2.2 火山模型的原理 66
5.2.3 火山模型的優(yōu)點與缺點 67
5.3 向量化引擎 67
5.3.1 向量化引擎的實現(xiàn)方式 68
5.3.2 ClickHouse中的向量化算子 69
5.3.3 向量化引擎的前提 70
5.4 計算引擎如何影響查詢速度 72
5.4.1 ClickHouse查詢速度快的前提 72
5.4.2 ClickHouse查詢速度快的本質(zhì) 74
5.5 本章小結(jié) 74
第6章 ClickHouse與其他數(shù)倉架構(gòu)的對比 75
6.1 ClickHouse與Hive的對比 75
6.1.1 Hive的數(shù)據(jù)文件 76
6.1.2 Hive的存儲系統(tǒng) 82
6.1.3 Hive計算引擎與ClickHouse計算引擎的差異 84
6.1.4 ClickHouse比Hive查詢速度快的原因 85
6.2 ClickHouse與HBase的對比 86
6.2.1 HBase的數(shù)據(jù)模型 86
6.2.2 HBase的存儲系統(tǒng)與ClickHouse的異同 87
6.2.3 HBase的適用場景及ClickHouse不適合的原因 87
6.3 ClickHouse與Kylin的對比 88
6.3.1 Kylin的架構(gòu) 88
6.3.2 Kylin解決性能問題的思路 88
6.3.3 Kylin方案的缺陷 89
6.3.4 ClickHouse的方案 89
6.4 本章小結(jié) 91
第7章 深度思考:決定外在能力的因素 93
7.1 從架構(gòu)層面分析ClickHouse 93
7.1.1 ClickHouse速度快的前提 93
7.1.2 對ClickHouse的一些誤解 94
7.2 結(jié)構(gòu)決定功能 95
7.2.1 方法論 96
7.2.2 意義 97
7.2.3 不要過度設(shè)計 98
7.3 從ClickHouse的設(shè)計來理解 99
7.3.1 結(jié)構(gòu)決定能力的上限 99
7.3.2 結(jié)構(gòu)決定應(yīng)用層算法 99
7.4 本章小結(jié) 100
第二部分 實戰(zhàn)篇
第8章 ClickHouse使用技巧 105
8.1 數(shù)據(jù)導(dǎo)入、導(dǎo)出技巧 105
8.1.1 外部文件導(dǎo)入、導(dǎo)出技巧 105
8.1.2 靈活使用集成表引擎導(dǎo)入、導(dǎo)出數(shù)據(jù) 109
8.2 建表技巧 117
8.2.1 表引擎選擇技巧 118
8.2.2 分區(qū)鍵選擇技巧 120
8.2.3 數(shù)據(jù)結(jié)構(gòu)選擇技巧 120
8.2.4 分區(qū)技巧 121
8.3 高級技巧 121
8.3.1 物化視圖 121
8.3.2 投影 122
8.3.3 位圖 122
8.3.4 變更數(shù)據(jù)捕獲 123
8.4 常見報錯及處理方法 123
8.5 本章小結(jié) 124
第9章 ClickHouse實現(xiàn)用戶畫像系統(tǒng) 125
9.1 用戶畫像概述 125
9.1.1 用戶畫像系統(tǒng)介紹 125
9.1.2 用戶畫像系統(tǒng)的需求描述 127
9.1.3 用戶畫像系統(tǒng)的需求分析 127
9.1.4 用戶畫像系統(tǒng)的架構(gòu) 128
9.2 用戶畫像系統(tǒng)的關(guān)鍵技術(shù)實現(xiàn) 129
9.2.1 技術(shù)選型 129
9.2.2 分析階段 130
9.2.3 運營階段 136
9.3 基于ClickHouse的用戶畫像系統(tǒng)的優(yōu)點 137
9.4 本章小結(jié) 139
第10章 ClickHouse的存算分離架構(gòu) 141
10.1 存算分離架構(gòu)背景 141
10.1.1 相關(guān)概述 141
10.1.2 存算分離的典型架構(gòu) 142
10.1.3 存算分離的意義 143
10.1.4 存算分離的局限 145
10.2 ClickHouse中的存算分離 147
10.2.1 實現(xiàn)方式 147
10.2.2 注意事項 150
10.3 存算分離架構(gòu)給ClickHouse帶來的優(yōu)勢 151
10.4 本章小結(jié) 152
第11章 ClickHouse的分布式架構(gòu) 153
11.1 架構(gòu)特點及對比 153
11.1.1 ClickHouse分布式架構(gòu)的優(yōu)點 154
11.1.2 ClickHouse分布式架構(gòu)的缺點 155
11.1.3 ClickHouse與Hadoop的分布式架構(gòu)對比 156
11.2 基本概念 156
11.2.1 集群 157
11.2.2 副本 158
11.2.3 分片 159
11.3 ClickHouse的復(fù)制表引擎 160
11.3.1 創(chuàng)建復(fù)制表 160
11.3.2 復(fù)制表復(fù)制 161
11.3.3 復(fù)制表查詢 161
11.4 ClickHouse分布式表引擎 162
11.4.1 創(chuàng)建分布式表 162
11.4.2 分布式表查詢原理 163
11.4.3 分布式表的數(shù)據(jù)寫入方案 165
11.4.4 分布式表中副本的處理方式 165
11.5 本章小結(jié) 166
第12章 ClickHouse性能優(yōu)化 167
12.1 性能優(yōu)化的原則 167
12.2 數(shù)據(jù)結(jié)構(gòu)優(yōu)化 168
12.3 內(nèi)存優(yōu)化 171
12.4 磁盤優(yōu)化 171
12.5 網(wǎng)絡(luò)優(yōu)化 173
12.6 CPU優(yōu)化 173
12.7 查詢優(yōu)化 174
12.8 數(shù)據(jù)遷移優(yōu)化 176
12.9 本章小結(jié) 177
ClickHouse性能之巔:從架構(gòu)設(shè)計解讀性能之謎 作者簡介
陳峰 資深大數(shù)據(jù)專家和架構(gòu)師,ClickHouse技術(shù)專家,滴普科技(2B領(lǐng)域獨角獸)合伙人兼首席架構(gòu)師,從0到1地建設(shè)了首支滴普科技的數(shù)據(jù)中臺技術(shù)團隊,構(gòu)建了滴普科技的數(shù)據(jù)技術(shù)體系。 有多年的大數(shù)據(jù)架構(gòu)經(jīng)驗,作者曾擔(dān)任百麗數(shù)據(jù)中臺麗影洞察項目的大數(shù)據(jù)架構(gòu)師,將ClickHouse成功引入百麗。 曾在中國數(shù)據(jù)庫技術(shù)大會(Database Technology Conference China,DTCC)等多個會議上發(fā)表ClickHouse主題演講,對ClickHouse有非常深入的研究,實踐經(jīng)驗豐富。 積極參與ClickHouse社區(qū)活動,積極推廣ClickHouse。在多個項目中應(yīng)用ClickHouse技術(shù),將ClickHouse的強大能力推廣到企業(yè)中,同時積極地向ClickHouse社區(qū)貢獻代碼和開源工具。
- >
自卑與超越
- >
姑媽的寶刀
- >
名家?guī)阕x魯迅:朝花夕拾
- >
羅庸西南聯(lián)大授課錄
- >
推拿
- >
中國人在烏蘇里邊疆區(qū):歷史與人類學(xué)概述
- >
回憶愛瑪儂
- >
詩經(jīng)-先民的歌唱