中圖網(wǎng)小程序
一鍵登錄
更方便
包郵 大數(shù)據(jù)SQL優(yōu)化 原理與實(shí)踐
開(kāi)本：
16開(kāi)
頁(yè)數(shù)：
384
本類(lèi)榜單：計(jì)算機(jī)/網(wǎng)絡(luò)銷(xiāo)量榜
本類(lèi)五星書(shū)更多>
-
>
全國(guó)計(jì)算機(jī)等級(jí)考試最新真考題庫(kù)模擬考場(chǎng)及詳解·二級(jí)MSOffice高級(jí)應(yīng)用
-
>
決戰(zhàn)行測(cè)5000題(言語(yǔ)理解與表達(dá))
-
>
軟件性能測(cè)試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強(qiáng)教科書(shū)(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
中圖價(jià):¥69.3
加入購(gòu)物車(chē)
大數(shù)據(jù)SQL優(yōu)化 原理與實(shí)踐 版權(quán)信息
- ISBN：9787111767039
- 條形碼：9787111767039 ; 978-7-111-76703-9
- 裝幀：平裝-膠訂
- 冊(cè)數(shù)：暫無(wú)
- 重量：暫無(wú)
- 所屬分類(lèi)：>>
大數(shù)據(jù)SQL優(yōu)化 原理與實(shí)踐 本書(shū)特色
大數(shù)據(jù)優(yōu)化經(jīng)歷了從SQL優(yōu)化到各種優(yōu)化理論、技術(shù)、產(chǎn)品的過(guò)程，目前發(fā)展到再次回歸SQL優(yōu)化的階段。SQL是大數(shù)據(jù)優(yōu)化的根本，也是必然歸宿。但是很多大數(shù)據(jù)相關(guān)從業(yè)者已經(jīng)迷失在了繁多的優(yōu)化理論和技術(shù)中，他們?cè)诿娴谋姸嗥脚_(tái)、插件等各類(lèi)產(chǎn)品時(shí)，會(huì)通過(guò)各種不同的技術(shù)進(jìn)行優(yōu)化工作，但是*終得到的效果并不能盡如人意。本書(shū)兩位作者作為長(zhǎng)期活躍在大廠研發(fā)一線的工程師，不僅對(duì)大數(shù)據(jù)優(yōu)化有深入理解，還一直抱有一顆工匠之心，長(zhǎng)期研究大數(shù)據(jù)優(yōu)化的底層邏輯，*終總結(jié)得到一條可以從底層實(shí)現(xiàn)優(yōu)化的方法，這套方法論具有一定的普適性。本書(shū)就是對(duì)這套方法論的完整呈現(xiàn)和深度分享。
大數(shù)據(jù)SQL優(yōu)化 原理與實(shí)踐 內(nèi)容簡(jiǎn)介
這是一本站在一線開(kāi)發(fā)人員的視角，從SQL的本質(zhì)出發(fā)，采用理論與實(shí)踐相結(jié)合、案例與分析相結(jié)合、作者經(jīng)驗(yàn)與一線需求相結(jié)合的方式，深度解讀大數(shù)據(jù)SQL優(yōu)化核心技術(shù)和解決方案的工具書(shū)。本書(shū)主要面向大數(shù)據(jù)初中級(jí)技術(shù)人員，期望幫大家深度理解大數(shù)據(jù)SQL優(yōu)化原理，掌握SQL優(yōu)化的落地實(shí)踐方法，從而真正“玩轉(zhuǎn)”大數(shù)據(jù)SQL優(yōu)化技術(shù)，根據(jù)實(shí)際問(wèn)題和需求設(shè)計(jì)出有針對(duì)性的提升SQL性能的解決方案。 本書(shū)共分為4篇，包括10章。 認(rèn)知篇（第1章）主要面向初學(xué)者闡述為什么大數(shù)據(jù)計(jì)算或存儲(chǔ)引擎發(fā)展至今*終選擇SQL作為統(tǒng)一查詢(xún)語(yǔ)言的原因及利弊，大數(shù)據(jù)SQL從業(yè)者目前面臨的主要問(wèn)題，以及調(diào)優(yōu)的兩個(gè)根本目標(biāo)。 原理篇（第2章）以深入淺出的方式解讀SQL的本質(zhì)。為了降低讀者理解的門(mén)檻，本篇還以Hive、Spark和Flink這三個(gè)主流的引擎為例，從源碼的角度探索SQL執(zhí)行背后的秘密。 實(shí)踐篇（第3~9章）首先深入解讀引擎查詢(xún)優(yōu)化器的兩大優(yōu)化策略——基于規(guī)則的優(yōu)化和基于代價(jià)的優(yōu)化的實(shí)現(xiàn)原理、示例和局限性，然后以Hive、Spark、Flink等主流引擎為藍(lán)本，探索SQL優(yōu)化（包括結(jié)構(gòu)與參數(shù)調(diào)優(yōu)、子查詢(xún)優(yōu)化、連接優(yōu)化、聚合優(yōu)化）的解決思路和方法論，并給出作者多年總結(jié)的一些“坑”。 案例篇（第10章）以實(shí)踐篇的各種真實(shí)需求調(diào)優(yōu)歷程為基礎(chǔ)，以點(diǎn)帶面，以小明大，分享電商、金融、銀行這三個(gè)典型行業(yè)的典型公司大數(shù)據(jù)SQL調(diào)優(yōu)案例，還給出了內(nèi)容平臺(tái)數(shù)倉(cāng)、查詢(xún)高可用、實(shí)時(shí)性數(shù)倉(cāng)等業(yè)務(wù)場(chǎng)景的解決方案。
大數(shù)據(jù)SQL優(yōu)化 原理與實(shí)踐 目錄
目 錄 Contents前言認(rèn)知篇第1章 概述21.1 大數(shù)據(jù)的發(fā)展歷程21.2 大數(shù)據(jù)為什么選用SQL41.2.1 標(biāo)準(zhǔn)化語(yǔ)言51.2.2 聲明式編程61.2.3 借鑒關(guān)系數(shù)據(jù)庫(kù)成熟理論81.3 大數(shù)據(jù)SQL的弊端91.3.1 易學(xué)難精91.3.2 表達(dá)能力有限101.3.3 與關(guān)系型數(shù)據(jù)庫(kù)求同存異121.4 為什么要調(diào)優(yōu)13目 錄 Contents前言認(rèn)知篇第1章 概述21.1 大數(shù)據(jù)的發(fā)展歷程21.2 大數(shù)據(jù)為什么選用SQL41.2.1 標(biāo)準(zhǔn)化語(yǔ)言51.2.2 聲明式編程61.2.3 借鑒關(guān)系數(shù)據(jù)庫(kù)成熟理論81.3 大數(shù)據(jù)SQL的弊端91.3.1 易學(xué)難精91.3.2 表達(dá)能力有限101.3.3 與關(guān)系型數(shù)據(jù)庫(kù)求同存異121.4 為什么要調(diào)優(yōu)131.4.1 降本提效131.4.2 知其然并知其所以然15原理篇第2章 SQL的本質(zhì)182.1 執(zhí)行過(guò)程提煉182.2 抽象語(yǔ)法樹(shù)202.3 SQL抽象語(yǔ)法樹(shù)222.4 Hive執(zhí)行原理242.4.1 詞法解析252.4.2 語(yǔ)義分析262.4.3 邏輯優(yōu)化282.4.4 物理優(yōu)化292.5 Spark執(zhí)行原理302.5.1 詞法解析322.5.2 語(yǔ)義分析342.5.3 邏輯優(yōu)化362.5.4 物理優(yōu)化372.6 Flink執(zhí)行原理392.6.1 詞法解析402.6.2 語(yǔ)義分析422.6.3 邏輯優(yōu)化432.6.4 物理優(yōu)化45實(shí)踐篇第3章 任勞任怨的引擎503.1 基于規(guī)則優(yōu)化概述513.1.1 謂詞下推523.1.2 常量堆疊543.1.3 常量傳遞553.1.4 等式傳遞553.1.5 布爾表達(dá)式簡(jiǎn)化563.1.6 BETWEEN-AND重寫(xiě)573.1.7 NOT取反重寫(xiě)583.1.8 簡(jiǎn)化IF/CASE WHEN條件 表達(dá)式593.1.9 優(yōu)化LIKE正則表達(dá)式593.1.10 簡(jiǎn)化CAST表達(dá)式603.1.11 簡(jiǎn)化UPPER/LOWER表 達(dá)式603.1.12 優(yōu)化二元表達(dá)式613.1.13 簡(jiǎn)化復(fù)雜類(lèi)型數(shù)據(jù)結(jié)構(gòu)的 操作符613.1.14 合并投影623.1.15 列裁剪623.1.16 優(yōu)化冗余別名623.1.17 替換NULL表達(dá)式633.1.18 CONCAT合并633.1.19 等式變換643.1.20 不等式變換643.2 基于代價(jià)優(yōu)化的簡(jiǎn)析643.3 兩種優(yōu)化的局限性70第4章 調(diào)優(yōu)解決方案734.1 理解業(yè)務(wù)，選擇需求734.2 利用執(zhí)行計(jì)劃764.3 利用統(tǒng)計(jì)信息794.4 利用日志824.5 利用分析工具874.5.1 Dr.Elephant874.5.2 火焰圖934.5.3 Prometheus944.6 等價(jià)重寫(xiě)思想984.6.1 關(guān)系代數(shù)994.6.2 等價(jià)變換規(guī)則100第5章 結(jié)構(gòu)與參數(shù)調(diào)優(yōu)1035.1 參數(shù)調(diào)優(yōu)1035.1.1 并行執(zhí)行1035.1.2 預(yù)聚合1055.1.3 擴(kuò)大并行度1085.1.4 內(nèi)存分配1135.1.5 數(shù)據(jù)重用1175.1.6 Kafka限流1195.2 利用Hint1255.3 合理的表設(shè)計(jì)1265.3.1 小文件合并1265.3.2 分區(qū)表1305.3.3 分桶表1325.3.4 物化視圖1335.4.存儲(chǔ)調(diào)整1405.4.1 存儲(chǔ)格式1425.4.2 壓縮類(lèi)型147第6章 子查詢(xún)優(yōu)化案例解析1506.1 案例分享1516.1.1 子查詢(xún)改寫(xiě)為JOIN1516.1.2 避免全表掃描1546.1.3 避免無(wú)效過(guò)濾條件1576.1.4 子查詢(xún)改寫(xiě)為窗口函數(shù)1586.1.5 復(fù)雜UDF緩存1606.1.6 子查詢(xún)改寫(xiě)為半連接1646.2 深度剖析1676.2.1 讓人又愛(ài)又恨的子查詢(xún)1676.2.2 子查詢(xún)消除算法1686.2.3 子查詢(xún)合并算法177第7章 連接優(yōu)化案例解析1817.1 案例分享1817.1.1 改寫(xiě)為UNION1817.1.2 強(qiáng)制廣播1857.1.3 使用Bucket Join1907.1.4 數(shù)據(jù)打散1927.1.5 謹(jǐn)慎對(duì)待關(guān)聯(lián)鍵的數(shù)據(jù)類(lèi)型1967.1.6 傾斜數(shù)據(jù)分離1997.1.7 慎用外連接2027.1.8 流Join的實(shí)現(xiàn)2057.1.9 手動(dòng)過(guò)濾下推2097.1.10 先聚合，再關(guān)聯(lián)2157.1.11 一對(duì)一再膨脹策略2167.2 深度剖析2187.2.1 連接實(shí)現(xiàn)2187.2.2 外連接消除算法2207.2.3 連接排序算法222第8章 聚合優(yōu)化案例解析2358.1 分而治之2358.2 兩階段聚合2378.3 多維聚合轉(zhuǎn)UNION2418.4 異常值過(guò)濾2448.5 去重轉(zhuǎn)為求和/計(jì)數(shù)2468.6 使用其他結(jié)構(gòu)去重 2498.7 善用標(biāo)簽2528.8 避免使用FINAL2558.9 轉(zhuǎn)為二進(jìn)制處理2588.10 行列互置的處理辦法2638.11 炸裂函數(shù)中的謂詞下推2698.12 數(shù)據(jù)膨脹導(dǎo)致的任務(wù)異常2738.13 用MAX替換排序278第9章 SQL優(yōu)化的“*后一公里”2819.1 謹(jǐn)慎操作NULL值2819.2 決定性能的關(guān)鍵—Shuffle2849.3 數(shù)據(jù)傾斜的危害2949.4 切莫盲目升級(jí)版本2979.5 引擎自?xún)?yōu)化的利弊308案例篇第10章 實(shí)戰(zhàn)案例分享31410.1 某電商業(yè)務(wù)營(yíng)銷(xiāo)活動(dòng)實(shí)時(shí)指標(biāo) 優(yōu)化方案31410.2 某金融業(yè)務(wù)風(fēng)控行為實(shí)時(shí)指標(biāo) 優(yōu)化方案32710.3 某銀行監(jiān)管項(xiàng)目實(shí)時(shí)指標(biāo)優(yōu)化 方案33110.4 某內(nèi)容平臺(tái)數(shù)倉(cāng)建設(shè)歷程33810.4.1 建模指導(dǎo)思想33910.4.2 數(shù)倉(cāng)架構(gòu)設(shè)計(jì)34010.4.3 數(shù)倉(cāng)建設(shè)理論3431
展開(kāi)全部
大數(shù)據(jù)SQL優(yōu)化 原理與實(shí)踐 作者簡(jiǎn)介
陳鶴大數(shù)據(jù)專(zhuān)家和架構(gòu)師，現(xiàn)任東南亞某電商公司大數(shù)據(jù)專(zhuān)家，曾就職于VIVO等大廠。長(zhǎng)期從事大數(shù)據(jù)架構(gòu)、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、流批一體與數(shù)據(jù)應(yīng)用平臺(tái)架構(gòu)研發(fā)工作。在Hadoop、Spark、Flink等方面積累了豐富的經(jīng)驗(yàn)。曾先后主導(dǎo)或參與了多個(gè)電商、金融領(lǐng)域的數(shù)據(jù)體系建設(shè)、疑難項(xiàng)目改造、數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)項(xiàng)目。數(shù)據(jù)之力技術(shù)叢書(shū)編委會(huì)委員，PowerData社區(qū)核心成員，擁有豐富的大數(shù)據(jù)相關(guān)寫(xiě)作和授課經(jīng)驗(yàn)。楊國(guó)棟數(shù)據(jù)之力技術(shù)叢書(shū)編委會(huì)主任，杭州電子科技大學(xué)碩士，前騰訊軟件工程師，《Apache Pulsar原理解析與應(yīng)用實(shí)踐》作者。一直就職于頭部互聯(lián)網(wǎng)公司，從事大數(shù)據(jù)平臺(tái)與基礎(chǔ)架構(gòu)研發(fā)相關(guān)工作，在大數(shù)據(jù)引擎與消息隊(duì)列引擎方面，一線工作經(jīng)驗(yàn)特別豐富。熱衷知識(shí)分享，長(zhǎng)期活躍于各個(gè)社區(qū)。
書(shū)友推薦
- >
二體千字文
- >
朝聞道
- >
名家?guī)阕x魯迅:故事新編
- >
伯納黛特,你要去哪(2021新版)
- >
龍榆生：詞曲概論/大家小書(shū)
- >
企鵝口袋書(shū)系列·偉大的思想20:論自然選擇(英漢雙語(yǔ))
- >
月亮與六便士
- >
莉莉和章魚(yú)
本類(lèi)暢銷(xiāo)
