掃一掃
關(guān)注中圖網(wǎng)
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應(yīng)用
-
>
決戰(zhàn)行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調(diào)優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
買過本商品的人還買了
SRE(Google運維解密) 版權(quán)信息
- ISBN：9787121297267
- 條形碼：9787121297267 ; 978-7-121-29726-7
- 裝幀：一般膠版紙
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
SRE(Google運維解密) 內(nèi)容簡介
大型軟件系統(tǒng)生命周期的絕大部分都處于“使用”階段，而非“設(shè)計”或“實現(xiàn)”階段。那么為什么我們卻總是認為軟件工程應(yīng)該首要關(guān)注設(shè)計和實現(xiàn)呢？在本書中，Google SRE的關(guān)鍵成員解釋了他們是如何對軟件進行生命周期的整體性關(guān)注的，以及為什么這樣做能夠幫助Google成功地構(gòu)建、部署、監(jiān)控和運維世界上現(xiàn)存優(yōu)選的軟件系統(tǒng)。通過閱讀本書，讀者可以學(xué)習(xí)到Google工程師在提高系統(tǒng)部署規(guī)模、改進可靠性和資源利用效率方面的指導(dǎo)思想與具體實踐――這些都是可以立即直接應(yīng)用的寶貴經(jīng)驗。任何一個想要創(chuàng)建、擴展大規(guī)模集成系統(tǒng)的人都應(yīng)該閱讀本書。本書針對如何構(gòu)建一個可長期維護的系統(tǒng)提供了很好寶貴的實踐經(jīng)驗。
SRE(Google運維解密) 目錄
目錄
前言 ．．．．．．．．．．．．．．．． xxxi
序言 ．．．．．．．．．．．．．．． xxxv
第Ⅰ部分 概覽
第1 章 介紹．．．．． 2
系統(tǒng)管理員模式 ．．． 2
Google 的解決之道：SRE ．．．．．．．．．．．．．．．．．．．．．． 4
SRE 方法論 ．．．．．．．．．． 6
確保長期關(guān)注研發(fā)工作 ．．．．．．．．．．．．．．．．．．． 6
在保障服務(wù)SLO 的前提下*大化迭代速度 ．．．．．．．．．．．．．．．．．．．．．．． 7
監(jiān)控系統(tǒng) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 8
應(yīng)急事件處理 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 8
變更管理 ．．．．．． 9
需求預(yù)測和容量規(guī)劃 ．．．．．．．．．．．．．．．．．．．．．．． 9
資源部署 ．．．． 10
效率與性能． 10
小結(jié) ．．．．．．．．．．．．．．．．．．． 10
第2 章 Google 生產(chǎn)環(huán)境：SRE 視角．．．．．． 11
硬件 ．．．．．．．．．．．．．．．．．．． 11
管理物理服務(wù)器的系統(tǒng)管理軟件 ．．．．．．．．．． 13
管理物理服務(wù)器 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 13
存儲 ．．．．．．．．．．．． 14
網(wǎng)絡(luò) ．．．．．．．．．．．． 15
其他系統(tǒng)軟件 ．．．． 16
分布式鎖服務(wù) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 16
監(jiān)控與警報系統(tǒng) ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 16
軟件基礎(chǔ)設(shè)施 ．．．． 17
研發(fā)環(huán)境 ．．．．．．．．．．．． 17
莎士比亞搜索：一個示范服務(wù) ．．．．．．．．．．．．． 18
用戶請求的處理過程 ．．．．．．．．．．．．．．．．．．．．． 18
任務(wù)和數(shù)據(jù)的組織方式 ．．．．．．．．．．．．．．．．． 19
第Ⅱ部分 指導(dǎo)思想
第3 章 擁抱風(fēng)險．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 23
管理風(fēng)險 ．．．．．．．．．．．． 23
度量服務(wù)的風(fēng)險 ． 24
服務(wù)的風(fēng)險容忍度 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 25
辨別消費者服務(wù)的風(fēng)險容忍度 ．．．．．． 26
基礎(chǔ)設(shè)施服務(wù)的風(fēng)險容忍度 ．．．．．．．．． 28
使用錯誤預(yù)算的目的 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 30
錯誤預(yù)算的構(gòu)建過程 ．．．．．．．．．．．．．．．．．．．．． 31
好處 ．．．．．．．．．．．． 32
第4 章 服務(wù)質(zhì)量目標(biāo)．．．．．．．．．．．．．．．．．．．．．．．．．．． 34
服務(wù)質(zhì)量術(shù)語 ．．．． 34
指標(biāo) ．．．．．．．．．．．． 34
目標(biāo) ．．．．．．．．．．．． 35
協(xié)議 ．．．．．．．．．．．． 36
指標(biāo)在實踐中的應(yīng)用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 37
運維人員和*終用戶各關(guān)心什么 ．． 37
指標(biāo)的收集． 37
匯總 ．．．．．．．．．．．． 38
指標(biāo)的標(biāo)準(zhǔn)化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 39
目標(biāo)在實踐中的應(yīng)用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 39
目標(biāo)的定義． 40
目標(biāo)的選擇． 40
控制手段 ．．．． 42
SLO 可以建立用戶預(yù)期 ．．．．．．．．．．．．．．．． 42
協(xié)議在實踐中的應(yīng)用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 43
第5 章 減少瑣事．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 44
瑣事的定義 ．．．．．．．． 44
為什么瑣事越少越好 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 45
什么算作工程工作 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 46
瑣事繁多是不是一定不好 ．．．．．．．．．．．．．．．．．．．．． 47
小結(jié) ．．．．．．．．．．．．．．．．．．． 48
第6 章 分布式系統(tǒng)的監(jiān)控．．．．．．．．．．．．．．．．．．．．． 49
術(shù)語定義 ．．．．．．．．．．．． 49
為什么要監(jiān)控 ．．．． 50
對監(jiān)控系統(tǒng)設(shè)置合理預(yù)期 ．．．．．．．．．．．．．．．．．．．．． 51
現(xiàn)象與原因 ．．．．．．．． 52
黑盒監(jiān)控與白盒監(jiān)控 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 53
4 個黃金指標(biāo) ．．．．． 53
關(guān)于長尾問題 ．．．． 54
度量指標(biāo)時采用合適的精度 ．．．．．．．．．．．．．．．．． 55
簡化，直到不能再簡化．．．．．．．．．．．．．．．．．．．．．．．．． 55
將上述理念整合起來 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 56
監(jiān)控系統(tǒng)的長期維護 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 57
Bigtable SRE ：警報過多的案例 ．．． 57
Gmail ：可預(yù)知的、可腳本化的人工干預(yù) ．．．．．．．．．．．．．．．．．．．．．．．． 58
長跑 ．．．．．．．．．．．． 59
小結(jié) ．．．．．．．．．．．．．．．．．．． 59
第7 章 Google 的自動化系統(tǒng)的演進．．．．．． 60
自動化的價值 ．．．． 60
一致性 ．．．．．．．． 60
平臺性 ．．．．．．．． 61
修復(fù)速度更快 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 61
行動速度更快 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 62
節(jié)省時間 ．．．． 62
自動化對Google SRE 的價值 ．．．．．．．．．．．．．． 62
自動化的應(yīng)用案例 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 63
Google SRE 的自動化使用案例 ．．．． 63
自動化分類的層次結(jié)構(gòu) ．．．．．．．．．．．．．．．．． 64
讓自己脫離工作：自動化所有的東西 ．． 66
舒緩疼痛：將自動化應(yīng)用到集群上線中 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 67
使用Prodtest 檢測不一致情況 ．．．．．． 68
冪等地解決不一致情況 ．．．．．．．．．．．．．．．．． 69
專業(yè)化傾向． 71
以服務(wù)為導(dǎo)向的集群上線流程 ．．．．．． 72
Borg ：倉庫規(guī)模計算機的誕生 ．．．．．．．．．．．．． 73
可靠性是*基本的功能．．．．．．．．．．．．．．．．．．．．．．．．． 74
建議 ．．．．．．．．．．．．．．．．．．． 75
第8 章 發(fā)布工程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 76
發(fā)布工程師的角色 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 76
發(fā)布工程哲學(xué) ．．．． 77
自服務(wù)模型． 77
追求速度 ．．．． 77
密閉性 ．．．．．．．． 77
強調(diào)策略和流程 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 78
持續(xù)構(gòu)建與部署 ． 78
構(gòu)建 ．．．．．．．．．．．． 78
分支 ．．．．．．．．．．．． 79
測試 ．．．．．．．．．．．． 79
打包 ．．．．．．．．．．．． 79
Rapid 系統(tǒng) ．． 80
部署 ．．．．．．．．．．．． 81
配置管理 ．．．．．．．．．．．． 81
小結(jié) ．．．．．．．．．．．．．．．．．．． 82
不僅僅只對Google 有用 ．．．．．．．．．．．．．．． 83
一開始就進行發(fā)布工程 ．．．．．．．．．．．．．．．．． 83
第9 章 簡單化 85
系統(tǒng)的穩(wěn)定性與靈活性．．．．．．．．．．．．．．．．．．．．．．．．． 85
乏味是一種美德 ． 86
我絕對不放棄我的代碼．．．．．．．．．．．．．．．．．．．．．．．．． 86
“負代碼行”作為一個指標(biāo) ．．．．．．．．．．．．．．．．．．． 87
*小 API ．．．．．．．．．．．． 87
模塊化 ．．．．．．．．．．．．．．．． 87
發(fā)布的簡單化 ．．．． 88
小結(jié) ．．．．．．．．．．．．．．．．．．． 88
第Ⅲ部分 *佳實踐
第10 章 基于時間序列數(shù)據(jù)進行有效報警．． 93
Borgmon 的起源 94
應(yīng)用軟件的監(jiān)控埋點 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 95
監(jiān)控指標(biāo)的收集 ． 96
時間序列數(shù)據(jù)的存儲 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 97
標(biāo)簽與向量． 98
Borg 規(guī)則計算 ．．． 99
報警 ．．．．．．．．．．．．．．．．． 104
監(jiān)控系統(tǒng)的分片機制 ．．．．．．．．．．．．．．．．．．．．．．．．．． 105
黑盒監(jiān)控 ．．．．．．．．．． 106
配置文件的維護 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 106
十年之后 ．．．．．．．．．． 108
第11 章 on-call 輪值．．．．．．．．．．．．．．．．．．．．．．． 109
介紹 ．．．．．．．．．．．．．．．．． 109
on-call 工程師的一天 ．．．．．．．．．．．．．．．．．．．．．．．．．． 110
on-call 工作平衡 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．111
數(shù)量上保持平衡 ．．．．．．．．．．．．．．．．．．．．．．．．．．．111
質(zhì)量上保持平衡 ．．．．．．．．．．．．．．．．．．．．．．．．．．．111
補貼措施 ．． 112
安全感 ．．．．．．．．．．．．．． 112
避免運維壓力過大 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 114
運維壓力過大 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 114
奸詐的敵人―運維壓力不夠 ．．．． 115
小結(jié) ．．．．．．．．．．．．．．．．． 115
第12 章 有效的故障排查手段．．．．．．．．．．．．．．．． 116
理論 ．．．．．．．．．．．．．．．．． 117
實踐 ．．．．．．．．．．．．．．．．． 119
故障報告 ．． 119
定位 ．．．．．．．．．． 119
檢查 ．．．．．．．．．． 120
診斷 ．．．．．．．．．． 122
測試和修復(fù)．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 124
神奇的負面結(jié)果 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 125
治愈 ．．．．．．．．．． 126
案例分析 ．．．．．．．．．． 127
使故障排查更簡單 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 130
小結(jié) ．．．．．．．．．．．．．．．．． 130
第13 章 緊急事件響應(yīng)．．．．．．．．．．．．．．．．．．．．．．．． 131
當(dāng)系統(tǒng)出現(xiàn)問題時怎么辦 ．．．．．．．．．．．．．．．．．．． 131
測試導(dǎo)致的緊急事故 ．．．．．．．．．．．．．．．．．．．．．．．．．． 132
細節(jié) ．．．．．．．．．． 132
響應(yīng) ．．．．．．．．．． 132
事后總結(jié) ．． 132
變更部署帶來的緊急事故 ．．．．．．．．．．．．．．．．．．． 133
細節(jié) ．．．．．．．．．． 133
事故響應(yīng) ．． 134
事后總結(jié) ．． 134
流程導(dǎo)致的嚴重事故 ．．．．．．．．．．．．．．．．．．．．．．．．．． 135
細節(jié) ．．．．．．．．．． 135
災(zāi)難響應(yīng) ．． 136
事后總結(jié) ．． 136
所有的問題都有解決方案 ．．．．．．．．．．．．．．．．．．． 137
向過去學(xué)習(xí)，而不是重復(fù)它 ．．．．．．．．．．．．．．． 138
為事故保留記錄 ．．．．．．．．．．．．．．．．．．．．．．．．．． 138
提出那些大的，甚至不可能的問題：假如…… ．．．．．．．．．．．．． 138
鼓勵主動測試 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 138
小結(jié) ．．．．．．．．．．．．．．．．． 138
第14 章 緊急事故管理．．．．．．．．．．．．．．．．．．．．．．． 140
無流程管理的緊急事故．．．．．．．．．．．．．．．．．．．．．．． 140
對這次無流程管理的事故的剖析 ．．．．．．．． 141
過于關(guān)注技術(shù)問題 ．．．．．．．．．．．．．．．．．．．．．． 141
溝通不暢 ．． 141
不請自來 ．． 142
緊急事故的流程管理要素 ．．．．．．．．．．．．．．．．．．． 142
嵌套式職責(zé)分離 ．．．．．．．．．．．．．．．．．．．．．．．．．． 142
控制中心 ．． 143
實時事故狀態(tài)文檔 ．．．．．．．．．．．．．．．．．．．．．． 143
明確公開的職責(zé)交接 ．．．．．．．．．．．．．．．．．．． 143
一次流程管理良好的事故 ．．．．．．．．．．．．．．．．．．． 144
什么時候?qū)ν庑际鹿剩?144
小結(jié) ．．．．．．．．．．．．．．．．． 145
第15 章 事后總結(jié)：從失敗中學(xué)習(xí)．．．．．．．．． 146
Google 的事后總結(jié)哲學(xué) ．．．．．．．．．．．．．．．．．．．．．． 146
協(xié)作和知識共享 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 148
建立事后總結(jié)文化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 149
小結(jié)以及不斷優(yōu)化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 151
第16 章 跟蹤故障．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．152
Escalator ．．．．．．．．．． 152
Outalator ．．．．．．．．．． 153
聚合 ．．．．．．．．．． 154
加標(biāo)簽 ．．．．．． 155
分析 ．．．．．．．．．． 155
未預(yù)料到的好處 ．．．．．．．．．．．．．．．．．．．．．．．．．． 156
第17 章 測試可靠性．．．．．．．．．．．．．．．．．．．．．．．．．．．157
軟件測試的類型 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 158
傳統(tǒng)測試 ．． 159
生產(chǎn)測試 ．． 160
創(chuàng)造一個構(gòu)建和測試環(huán)境 ．．．．．．．．．．．．．．．．．．． 163
大規(guī)模測試 ．．．．．． 165
測試大規(guī)模使用的工具 ．．．．．．．．．．．．．．． 166
針對災(zāi)難的測試 ．．．．．．．．．．．．．．．．．．．．．．．．．． 167
對速度的渴求 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 168
發(fā)布到生產(chǎn)環(huán)境 ．．．．．．．．．．．．．．．．．．．．．．．．．． 170
允許測試失敗 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 170
集成 ．．．．．．．．．． 172
生產(chǎn)環(huán)境探針 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 173
小結(jié) ．．．．．．．．．．．．．．．．． 175
第18 章 SRE 部門中的軟件工程實踐．．．．．176
為什么軟件工程項目對SRE 很重要 ．．． 176
Auxon 案例分析：項目背景和要解決的問題 ．．．．．．．．．．．．．．．．．．．．．．．． 177
傳統(tǒng)的容量規(guī)劃方法 ．．．．．．．．．．．．．．．．．．． 177
解決方案：基于意圖的容量規(guī)劃 179
基于意圖的容量規(guī)劃 ．．．．．．．．．．．．．．．．．．．．．．．．．． 180
表達產(chǎn)品意圖的先導(dǎo)條件 ．．．．．．．．．．． 181
Auxon 簡介 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 182
需求和實現(xiàn)：成功和不足 ．．．．．．．．．．． 183
提升了解程度，推進采用率 ．．．．．．． 185
團隊內(nèi)部組成 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 187
在SRE 團隊中培養(yǎng)軟件工程風(fēng)氣 ．．．．．． 187
在SRE 團隊中建立起軟件工程氛圍：招聘與開發(fā)時間 188
做到這一點．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 189
小結(jié) ．．．．．．．．．．．．．．．．． 190
第19 章 前端服務(wù)器的負載均衡．．．．．．．．．．．．． 191
有時候硬件并不能解決問題 ．．．．．．．．．．．．．．． 191
使用DNS 進行負載均衡 ．．．．．．．．．．．．．．．．．．．．． 192
負載均衡：虛擬IP．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 194
第20 章 數(shù)據(jù)中心內(nèi)部的負載均衡系統(tǒng)．．．．197
理想情況 ．．．．．．．．．． 198
識別異常任務(wù)：流速控制和跛腳鴨任務(wù) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 199
異常任務(wù)的簡單應(yīng)對辦法：流速控制．．．．．．．．．．．．．．．．．．．．．．．．．．．． 199
一個可靠的識別異常任務(wù)的方法：跛腳鴨狀態(tài) ．．．．．．．．．．．．． 200
利用劃分子集限制連接池大小 ．．．．．．．．．．． 201
選擇合適的子集 ．．．．．．．．．．．．．．．．．．．．．．．．．． 201
子集選擇算法一：隨機選擇 ．．．．．．． 202
子集選擇算法二：確定性算法 ．．．． 204
負載均衡策略 ．． 206
簡單輪詢算法 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 206
*閑輪詢策略 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 209
加權(quán)輪詢策略 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 210
第21 章 應(yīng)對過載．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．212
QPS 陷阱 ．．．．．．．．． 213
給每個用戶設(shè)置限制 ．．．．．．．．．．．．．．．．．．．．．．．．．． 213
客戶端側(cè)的節(jié)流機制 ．．．．．．．．．．．．．．．．．．．．．．．．．． 214
重要性 ．．．．．．．．．．．．．． 216
資源利用率信號 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 217
處理過載錯誤 ．． 217
決定何時重試 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 218
連接造成的負載 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 220
小結(jié) ．．．．．．．．．．．．．．．．． 221
第22 章 處理連鎖故障．．．．．．．．．．．．．．．．．．．．．．． 223
連鎖故障產(chǎn)生的原因和如何從設(shè)計上避免 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 224
服務(wù)器過載．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 224
資源耗盡 ．． 225
服務(wù)不可用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 228
防止軟件服務(wù)器過載 ．．．．．．．．．．．．．．．．．．．．．．．．．． 228
隊列管理 ．． 229
流量拋棄和優(yōu)雅降級 ．．．．．．．．．．．．．．．．．．． 230
重試 ．．．．．．．．．． 231
請求延遲和截止時間 ．．．．．．．．．．．．．．．．．．． 234
慢啟動和冷緩存 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 236
保持調(diào)用棧永遠向下 ．．．．．．．．．．．．．．．．．．． 238
連鎖故障的觸發(fā)條件 ．．．．．．．．．．．．．．．．．．．．．．．．．． 238
進程崩潰 ．． 239
進程更新 ．． 239
新的發(fā)布 ．． 239
自然增長 ．． 239
計劃中或計劃外的不可用 ．．．．．．．．．．． 239
連鎖故障的測試 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 240
測試直到出現(xiàn)故障，還要繼續(xù)測試 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 240
測試*常用的客戶端 ．．．．．．．．．．．．．．．．．．． 241
測試非關(guān)鍵性后端 ．．．．．．．．．．．．．．．．．．．．．． 242
解決連鎖故障的立即步驟 ．．．．．．．．．．．．．．．．．．． 242
增加資源 ．． 242
停止健康檢查導(dǎo)致的任務(wù)死亡 ．．．． 242
重啟軟件服務(wù)器 ．．．．．．．．．．．．．．．．．．．．．．．．．． 242
丟棄流量 ．． 243
進入降級模式 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 243
消除批處理負載 ．．．．．．．．．．．．．．．．．．．．．．．．．． 244
消除有害的流量 ．．．．．．．．．．．．．．．．．．．．．．．．．． 244
小結(jié) ．．．．．．．．．．．．．．．．． 244
第23 章 管理關(guān)鍵狀態(tài)：利用分布式共識來提高可靠性．．．．．．．．．．．．．．．．．． 246
使用共識系統(tǒng)的動力：分布式系統(tǒng)協(xié)調(diào)失敗 ．．．．．．．．．．．．．．．．．．．．．．．． 248
案例1 ：腦裂問題 ．．．．．．．．．．．．．．．．．．．．．．． 249
案例2 ：需要人工干預(yù)的災(zāi)備切換 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 249
案例3 ：有問題的小組成員算法 ． 249
分布式共識是如何工作的 ．．．．．．．．．．．．．．．．．．． 250
Paxos 概要：協(xié)議示例 ．．．．．．．．．．．．．．．． 251
分布式共識的系統(tǒng)架構(gòu)模式 ．．．．．．．．．．．．．．． 251
可靠的復(fù)制狀態(tài)機 ．．．．．．．．．．．．．．．．．．．．．． 252
可靠的復(fù)制數(shù)據(jù)存儲和配置存儲 252
使用領(lǐng)頭人選舉機制實現(xiàn)高可用的處理系統(tǒng) ．．．．．．．．．．．．．．．． 253
分布式協(xié)調(diào)和鎖服務(wù) ．．．．．．．．．．．．．．．．．．． 253
可靠的分布式隊列和消息傳遞 ．．．． 254
分布式共識系統(tǒng)的性能問題 ．．．．．．．．．．．．．．． 255
復(fù)合式Paxos ：消息流過程詳解 ． 257
應(yīng)對大量的讀操作 ．．．．．．．．．．．．．．．．．．．．．． 258
法定租約 ．． 259
分布式共識系統(tǒng)的性能與網(wǎng)絡(luò)延遲 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 259
快速Paxos 協(xié)議：性能優(yōu)化 ．．．．．．．． 260
穩(wěn)定的領(lǐng)頭人機制 ．．．．．．．．．．．．．．．．．．．．．． 261
批處理 ．．．．．． 262
磁盤訪問 ．． 262
分布式共識系統(tǒng)的部署．．．．．．．．．．．．．．．．．．．．．．． 263
副本的數(shù)量．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 263
副本的位置．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 265
容量規(guī)劃和負載均衡 ．．．．．．．．．．．．．．．．．．． 266
對分布式共識系統(tǒng)的監(jiān)控 ．．．．．．．．．．．．．．．．．．． 270
小結(jié) ．．．．．．．．．．．．．．．．． 272
第24 章 分布式周期性任務(wù)系統(tǒng)．．．．．．．．．．． 273
Cron ．．．．．．．．．．．．．．．．． 273
介紹 ．．．．．．．．．． 273
可靠性 ．．．．．． 274
Cron 任務(wù)和冪等性 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 274
大規(guī)模Cron 系統(tǒng) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 275
對基礎(chǔ)設(shè)施的擴展 ．．．．．．．．．．．．．．．．．．．．．． 275
對需求的擴展 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 276
Google Cron 系統(tǒng)的構(gòu)建過程 ．．．．．．．．．．．．． 277
跟蹤Cron 任務(wù)的狀態(tài) ．．．．．．．．．．．．．．．．． 277
Paxos 協(xié)議的使用 ．．．．．．．．．．．．．．．．．．．．．．． 277
領(lǐng)頭人角色和追隨者角色 ．．．．．．．．．．． 278
保存狀態(tài) ．． 281
運維大型Cron 系統(tǒng) ．．．．．．．．．．．．．．．．．．．． 282
小結(jié) ．．．．．．．．．．．．．．．．． 283
第25 章 數(shù)據(jù)處理流水線．．．．．．．．．．．．．．．．．．．． 284
流水線設(shè)計模式的起源．．．．．．．．．．．．．．．．．．．．．．． 284
簡單流水線設(shè)計模式與大數(shù)據(jù) ．．．．．．．．．．． 284
周期性流水線模式的挑戰(zhàn) ．．．．．．．．．．．．．．．．．．． 285
工作分發(fā)不均造成的問題 ．．．．．．．．．．．．．．．．．．． 285
分布式環(huán)境中周期性數(shù)據(jù)流水線的缺點 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 286
監(jiān)控周期性流水線的問題 ．．．．．．．．．．． 287
驚群效應(yīng) ．． 287
摩爾負載模式 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 288
Google Workflow 簡介 ．．．．．．．．．．．．．．．．．．．．．．．． 289
Workflow 是模型―視圖―控制器（MVC）模式 ．．．．．．．．．． 290
Workflow 中的執(zhí)行階段 ．．．．．．．．．．．．．．．．．．．．． 291
Workflow 正確性保障 ．．．．．．．．．．．．．．．．． 291
保障業(yè)務(wù)的持續(xù)性 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 292
小結(jié) ．．．．．．．．．．．．．．．．． 294
第26 章 數(shù)據(jù)完整性：讀寫一致．．．．．．．．．．． 295
數(shù)據(jù)完整性的強需求 ．．．．．．．．．．．．．．．．．．．．．．．．．． 296
提供超高的數(shù)據(jù)完整性的策略 ．．．． 297
備份與存檔．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 298
云計算環(huán)境下的需求 ．．．．．．．．．．．．．．．．．．． 299
保障數(shù)據(jù)完整性和可用性：Google SRE 的目標(biāo) ．．．．．．．．．．．．．．．．．．． 300
數(shù)據(jù)完整性是手段，數(shù)據(jù)可用性是目標(biāo) ．．．．．．．．．．．．．．．．．．．．．．．． 300
交付一個恢復(fù)系統(tǒng)，而非備份系統(tǒng) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 301
造成數(shù)據(jù)丟失的事故類型 ．．．．．．．．．．． 301
維護數(shù)據(jù)完整性的深度和廣度的困難之處 ．．．．．．．．．．．．．．．．．．．． 303
Google SRE 保障數(shù)據(jù)完整性的手段 ．． 304
24 種數(shù)據(jù)完整性的事故組合 ．．．．．． 304
**層： 軟刪除 ．．．．．．．．．．．．．．．．．．．．．．．．．． 305
第二層：備份和相關(guān)的恢復(fù)方法 306
額外一層：復(fù)制機制 ．．．．．．．．．．．．．．．．．．． 308
1T vs． 1E ：存儲更多數(shù)據(jù)沒那么簡單．．．．．．．．．．．．．．．．．．．．．．．．．．．． 309
第三層：早期預(yù)警 ．．．．．．．．．．．．．．．．．．．．．． 310
確保數(shù)據(jù)恢復(fù)策略可以正常工作 313
案例分析 ．．．．．．．．．． 314
Gmail―2011 年2 月：從GTape 上恢復(fù)數(shù)據(jù)（ 磁帶） 314
Google Music―2012 年3 月：一次意外刪除事故的檢測過程 ．315
SRE 的基本理念在數(shù)據(jù)完整性上的應(yīng)用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 319
保持初學(xué)者的心態(tài) ．．．．．．．．．．．．．．．．．．．．．． 319
信任但要驗證 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 320
不要一廂情愿 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 320
縱深防御 ．． 320
小結(jié) ．．．．．．．．．．．．．．．．． 321
第27 章 可靠地進行產(chǎn)品的大規(guī)模發(fā)布．．． 322
發(fā)布協(xié)調(diào)工程師 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 323
發(fā)布協(xié)調(diào)工程師的角色 ．．．．．．．．．．．．．．． 324
建立發(fā)布流程 ．． 325
發(fā)布檢查列表 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 326
推動融合和簡化 ．．．．．．．．．．．．．．．．．．．．．．．．．． 326
發(fā)布未知的產(chǎn)品 ．．．．．．．．．．．．．．．．．．．．．．．．．． 327
起草一個發(fā)布檢查列表．．．．．．．．．．．．．．．．．．．．．．． 327
架構(gòu)與依賴．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 328
集成 ．．．．．．．．．． 328
容量規(guī)劃 ．． 328
故障模式 ．． 329
客戶端行為．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 329
流程與自動化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 330
開發(fā)流程 ．． 330
外部依賴 ．． 331
發(fā)布計劃 ．． 331
可靠發(fā)布所需要的方法論 ．．．．．．．．．．．．．．．．．．． 332
灰度和階段性發(fā)布 ．．．．．．．．．．．．．．．．．．．．．． 332
功能開關(guān)框架 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 333
應(yīng)對客戶端濫用行為 ．．．．．．．．．．．．．．．．．．． 334
過載行為和壓力測試 ．．．．．．．．．．．．．．．．．．． 335
LCE 的發(fā)展 ．．．．．． 335
LCE 檢查列表的變遷 ．．．．．．．．．．．．．．．．．． 336
LCE 沒有解決的問題 ．．．．．．．．．．．．．．．．．． 337
小結(jié) ．．．．．．．．．．．．．．．．． 338
第Ⅳ部分 管理
第28 章 迅速培養(yǎng)SRE 加入on-call．．． 341
新的SRE 已經(jīng)招聘到了，接下來怎么辦 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 341
培訓(xùn)初期：重體系，而非混亂 ．．．．．．．．．．． 344
系統(tǒng)性、累積型的學(xué)習(xí)方式 ．．．．．．． 345
目標(biāo)性強的項目工作，而非瑣事 346
培養(yǎng)反向工程能力和隨機應(yīng)變能力 ．．．． 347
反向工程：弄明白系統(tǒng)如何工作 347
統(tǒng)計學(xué)和比較性思維：在壓力下堅持科學(xué)方法論 ．．．．．．．．． 347
隨機應(yīng)變的能力：當(dāng)意料之外的事情發(fā)生時怎么辦 ．．．．． 348
將知識串聯(lián)起來：反向工程某個生產(chǎn)環(huán)境服務(wù) ．．．．．．．．．．．．． 348
有抱負的on-call 工程師的5 個特點．．． 349
對事故的渴望：事后總結(jié)的閱讀和書寫 ．．．．．．．．．．．．．．．．．．．．．．．． 349
故障處理分角色演習(xí) ．．．．．．．．．．．．．．．．．．． 350
破壞真的東西，并且修復(fù)它們 ．．．． 351
維護文檔是學(xué)徒任務(wù)的一部分 ．．．． 352
盡早、盡快見習(xí)on-call ．．．．．．．．．．．．．． 353
on-call 之后：通過培訓(xùn)的儀式感，以及日后的持續(xù)教育 ．．．．． 354
小結(jié) ．．．．．．．．．．．．．．．．． 354
第29 章 處理中斷性任務(wù)．．．．．．．．．．．．．．．．．．．． 355
管理運維負載 ．． 356
如何決策對中斷性任務(wù)的處理策略 ．．．． 356
不完美的機器 ．． 357
流狀態(tài) ．．．．．． 357
將一件事情做好 ．．．．．．．．．．．．．．．．．．．．．．．．．． 358
實際一點的建議 ．．．．．．．．．．．．．．．．．．．．．．．．．． 359
減少中斷 ．． 361
第30 章 通過嵌入SRE 的方式幫助團隊從運維過載中恢復(fù)．．．．．．．．．．．．． 363
**階段：了解服務(wù)，了解上下文 ．．．． 364
確定*大的壓力來源 ．．．．．．．．．．．．．．．．．．． 364
找到導(dǎo)火索．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 364
第二階段：分享背景知識 ．．．．．．．．．．．．．．．．．．． 365
書寫一個好的事后總結(jié)作為示范 366
將緊急事件按類型排序 ．．．．．．．．．．．．．．． 366
第三階段：主導(dǎo)改變 ．．．．．．．．．．．．．．．．．．．．．．．．．． 367
從基礎(chǔ)開始．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 367
獲取團隊成員的幫助 ．．．．．．．．．．．．．．．．．．． 367
解釋你的邏輯推理過程 ．．．．．．．．．．．．．．． 368
提出引導(dǎo)性問題 ．．．．．．．．．．．．．．．．．．．．．．．．．． 368
小結(jié) ．．．．．．．．．．．．．．．．． 369
第 31 章 SRE 與其他團隊的溝通與協(xié)作． 370
溝通：生產(chǎn)會議 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 371
議程 ．．．．．．．．．． 372
出席人員 ．． 373
SRE 的內(nèi)部協(xié)作 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 374
團隊構(gòu)成 ．． 375
高效工作的技術(shù) ．．．．．．．．．．．．．．．．．．．．．．．．．． 375
SRE 內(nèi)部的協(xié)作案例分析：Viceroy ．．． 376
Viceroy 的誕生 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 376
所面臨的挑戰(zhàn) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 378
建議 ．．．．．．．．．． 379
SRE 與其他部門之間的協(xié)作 ．．．．．．．．．．．．．．． 380
案例分析：將DFP 遷移到F1 ．．．．．．．．．．．．． 380
小結(jié) ．．．．．．．．．．．．．．．．． 382
第32 章 SRE 參與模式的演進歷程．．．．．．． 383
SRE 參與模式：是什么、怎么樣以及為什么 ．．．．．．．．．．．．．．．．．．．．．．． 383
PRR 模型 ．．．．．．．．． 384
SRE 參與模型 ． 384
替代性支持．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 385
PRR ：簡單PRR 模型 ．．．．．．．．．．．．．．．．．．．．．．．．． 386
參與 ．．．．．．．．．． 386
分析 ．．．．．．．．．． 387
改進和重構(gòu)．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 387
培訓(xùn) ．．．．．．．．．． 388
“接手”服務(wù) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 388
持續(xù)改進 ．． 388
簡單PRR 模型的演進：早期參與模型 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 389
早期參與模型的適用對象 ．．．．．．．．．．． 389
早期參與模型的優(yōu)勢 ．．．．．．．．．．．．．．．．．．． 390
不斷發(fā)展的服務(wù)：框架和SRE 平臺 ．．． 391
經(jīng)驗教訓(xùn) ．． 391
影響SRE 的外部因素 ．．．．．．．．．．．．．．．．． 392
結(jié)構(gòu)化的解決方案：框架 ．．．．．．．．．．． 392
新服務(wù)和管理優(yōu)勢 ．．．．．．．．．．．．．．．．．．．．．． 394
小結(jié) ．．．．．．．．．．．．．．．．． 395
第Ⅴ部分 結(jié)束語
第33 章 其他行業(yè)的實踐經(jīng)驗．．．．．．．．．．．．．． 398
有其他行業(yè)背景的資深SRE ．．．．．．．．．．．．．．． 399
災(zāi)難預(yù)案與演習(xí) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 400
從組織架構(gòu)層面堅持不懈地對安全進行關(guān)注 ．．．．．．．．．．．．．．．． 401
關(guān)注任何細節(jié) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 401
冗余容量 ．． 401
模擬以及進行線上災(zāi)難演習(xí) ．．．．．．． 402
培訓(xùn)與考核．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 402
對詳細的需求收集和系統(tǒng)設(shè)計的關(guān)注．．．．．．．．．．．．．．．．．．．．．．．．．．．． 402
縱深防御 ．． 403
事后總結(jié)的文化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 403
將重復(fù)性工作自動化，消除運維負載 404
結(jié)構(gòu)化和理性的決策 ．．．．．．．．．．．．．．．．．．．．．．．．．． 406
小結(jié) ．．．．．．．．．．．．．．．．． 407
第34 章 結(jié)語．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 408
附錄A 系統(tǒng)可用性．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 411
附錄B 生產(chǎn)環(huán)境運維過程中的*佳實踐．．．412
附錄C 事故狀態(tài)文檔示范．．．．．．．．．．．．．．．．．．． 417
附錄D 事后總結(jié)示范．．．．．．．．．．．．．．．．．．．．．．．．． 419
附錄E 發(fā)布協(xié)調(diào)檢查列表．．．．．．．．．．．．．．．．．．． 423
附錄F 生產(chǎn)環(huán)境會議記錄示范．．．．．．．．．．．．．． 425
參考文獻．．．．．．． 427
索引．．．．．．．．．．．．． 439
前言 ．．．．．．．．．．．．．．．． xxxi
序言 ．．．．．．．．．．．．．．． xxxv
第Ⅰ部分 概覽
第1 章 介紹．．．．． 2
系統(tǒng)管理員模式 ．．． 2
Google 的解決之道：SRE ．．．．．．．．．．．．．．．．．．．．．． 4
SRE 方法論 ．．．．．．．．．． 6
確保長期關(guān)注研發(fā)工作 ．．．．．．．．．．．．．．．．．．． 6
在保障服務(wù)SLO 的前提下*大化迭代速度 ．．．．．．．．．．．．．．．．．．．．．．． 7
監(jiān)控系統(tǒng) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 8
應(yīng)急事件處理 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 8
變更管理 ．．．．．． 9
需求預(yù)測和容量規(guī)劃 ．．．．．．．．．．．．．．．．．．．．．．． 9
資源部署 ．．．． 10
效率與性能． 10
小結(jié) ．．．．．．．．．．．．．．．．．．． 10
第2 章 Google 生產(chǎn)環(huán)境：SRE 視角．．．．．． 11
硬件 ．．．．．．．．．．．．．．．．．．． 11
管理物理服務(wù)器的系統(tǒng)管理軟件 ．．．．．．．．．． 13
管理物理服務(wù)器 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 13
存儲 ．．．．．．．．．．．． 14
網(wǎng)絡(luò) ．．．．．．．．．．．． 15
其他系統(tǒng)軟件 ．．．． 16
分布式鎖服務(wù) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 16
監(jiān)控與警報系統(tǒng) ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 16
軟件基礎(chǔ)設(shè)施 ．．．． 17
研發(fā)環(huán)境 ．．．．．．．．．．．． 17
莎士比亞搜索：一個示范服務(wù) ．．．．．．．．．．．．． 18
用戶請求的處理過程 ．．．．．．．．．．．．．．．．．．．．． 18
任務(wù)和數(shù)據(jù)的組織方式 ．．．．．．．．．．．．．．．．． 19
第Ⅱ部分 指導(dǎo)思想
第3 章 擁抱風(fēng)險．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 23
管理風(fēng)險 ．．．．．．．．．．．． 23
度量服務(wù)的風(fēng)險 ． 24
服務(wù)的風(fēng)險容忍度 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 25
辨別消費者服務(wù)的風(fēng)險容忍度 ．．．．．． 26
基礎(chǔ)設(shè)施服務(wù)的風(fēng)險容忍度 ．．．．．．．．． 28
使用錯誤預(yù)算的目的 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 30
錯誤預(yù)算的構(gòu)建過程 ．．．．．．．．．．．．．．．．．．．．． 31
好處 ．．．．．．．．．．．． 32
第4 章 服務(wù)質(zhì)量目標(biāo)．．．．．．．．．．．．．．．．．．．．．．．．．．． 34
服務(wù)質(zhì)量術(shù)語 ．．．． 34
指標(biāo) ．．．．．．．．．．．． 34
目標(biāo) ．．．．．．．．．．．． 35
協(xié)議 ．．．．．．．．．．．． 36
指標(biāo)在實踐中的應(yīng)用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 37
運維人員和*終用戶各關(guān)心什么 ．． 37
指標(biāo)的收集． 37
匯總 ．．．．．．．．．．．． 38
指標(biāo)的標(biāo)準(zhǔn)化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 39
目標(biāo)在實踐中的應(yīng)用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 39
目標(biāo)的定義． 40
目標(biāo)的選擇． 40
控制手段 ．．．． 42
SLO 可以建立用戶預(yù)期 ．．．．．．．．．．．．．．．． 42
協(xié)議在實踐中的應(yīng)用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 43
第5 章 減少瑣事．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 44
瑣事的定義 ．．．．．．．． 44
為什么瑣事越少越好 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 45
什么算作工程工作 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 46
瑣事繁多是不是一定不好 ．．．．．．．．．．．．．．．．．．．．． 47
小結(jié) ．．．．．．．．．．．．．．．．．．． 48
第6 章 分布式系統(tǒng)的監(jiān)控．．．．．．．．．．．．．．．．．．．．． 49
術(shù)語定義 ．．．．．．．．．．．． 49
為什么要監(jiān)控 ．．．． 50
對監(jiān)控系統(tǒng)設(shè)置合理預(yù)期 ．．．．．．．．．．．．．．．．．．．．． 51
現(xiàn)象與原因 ．．．．．．．． 52
黑盒監(jiān)控與白盒監(jiān)控 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 53
4 個黃金指標(biāo) ．．．．． 53
關(guān)于長尾問題 ．．．． 54
度量指標(biāo)時采用合適的精度 ．．．．．．．．．．．．．．．．． 55
簡化，直到不能再簡化．．．．．．．．．．．．．．．．．．．．．．．．． 55
將上述理念整合起來 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 56
監(jiān)控系統(tǒng)的長期維護 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 57
Bigtable SRE ：警報過多的案例 ．．． 57
Gmail ：可預(yù)知的、可腳本化的人工干預(yù) ．．．．．．．．．．．．．．．．．．．．．．．． 58
長跑 ．．．．．．．．．．．． 59
小結(jié) ．．．．．．．．．．．．．．．．．．． 59
第7 章 Google 的自動化系統(tǒng)的演進．．．．．． 60
自動化的價值 ．．．． 60
一致性 ．．．．．．．． 60
平臺性 ．．．．．．．． 61
修復(fù)速度更快 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 61
行動速度更快 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 62
節(jié)省時間 ．．．． 62
自動化對Google SRE 的價值 ．．．．．．．．．．．．．． 62
自動化的應(yīng)用案例 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 63
Google SRE 的自動化使用案例 ．．．． 63
自動化分類的層次結(jié)構(gòu) ．．．．．．．．．．．．．．．．． 64
讓自己脫離工作：自動化所有的東西 ．． 66
舒緩疼痛：將自動化應(yīng)用到集群上線中 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 67
使用Prodtest 檢測不一致情況 ．．．．．． 68
冪等地解決不一致情況 ．．．．．．．．．．．．．．．．． 69
專業(yè)化傾向． 71
以服務(wù)為導(dǎo)向的集群上線流程 ．．．．．． 72
Borg ：倉庫規(guī)模計算機的誕生 ．．．．．．．．．．．．． 73
可靠性是*基本的功能．．．．．．．．．．．．．．．．．．．．．．．．． 74
建議 ．．．．．．．．．．．．．．．．．．． 75
第8 章 發(fā)布工程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 76
發(fā)布工程師的角色 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 76
發(fā)布工程哲學(xué) ．．．． 77
自服務(wù)模型． 77
追求速度 ．．．． 77
密閉性 ．．．．．．．． 77
強調(diào)策略和流程 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 78
持續(xù)構(gòu)建與部署 ． 78
構(gòu)建 ．．．．．．．．．．．． 78
分支 ．．．．．．．．．．．． 79
測試 ．．．．．．．．．．．． 79
打包 ．．．．．．．．．．．． 79
Rapid 系統(tǒng) ．． 80
部署 ．．．．．．．．．．．． 81
配置管理 ．．．．．．．．．．．． 81
小結(jié) ．．．．．．．．．．．．．．．．．．． 82
不僅僅只對Google 有用 ．．．．．．．．．．．．．．． 83
一開始就進行發(fā)布工程 ．．．．．．．．．．．．．．．．． 83
第9 章 簡單化 85
系統(tǒng)的穩(wěn)定性與靈活性．．．．．．．．．．．．．．．．．．．．．．．．． 85
乏味是一種美德 ． 86
我絕對不放棄我的代碼．．．．．．．．．．．．．．．．．．．．．．．．． 86
“負代碼行”作為一個指標(biāo) ．．．．．．．．．．．．．．．．．．． 87
*小 API ．．．．．．．．．．．． 87
模塊化 ．．．．．．．．．．．．．．．． 87
發(fā)布的簡單化 ．．．． 88
小結(jié) ．．．．．．．．．．．．．．．．．．． 88
第Ⅲ部分 *佳實踐
第10 章 基于時間序列數(shù)據(jù)進行有效報警．． 93
Borgmon 的起源 94
應(yīng)用軟件的監(jiān)控埋點 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 95
監(jiān)控指標(biāo)的收集 ． 96
時間序列數(shù)據(jù)的存儲 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 97
標(biāo)簽與向量． 98
Borg 規(guī)則計算 ．．． 99
報警 ．．．．．．．．．．．．．．．．． 104
監(jiān)控系統(tǒng)的分片機制 ．．．．．．．．．．．．．．．．．．．．．．．．．． 105
黑盒監(jiān)控 ．．．．．．．．．． 106
配置文件的維護 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 106
十年之后 ．．．．．．．．．． 108
第11 章 on-call 輪值．．．．．．．．．．．．．．．．．．．．．．． 109
介紹 ．．．．．．．．．．．．．．．．． 109
on-call 工程師的一天 ．．．．．．．．．．．．．．．．．．．．．．．．．． 110
on-call 工作平衡 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．111
數(shù)量上保持平衡 ．．．．．．．．．．．．．．．．．．．．．．．．．．．111
質(zhì)量上保持平衡 ．．．．．．．．．．．．．．．．．．．．．．．．．．．111
補貼措施 ．． 112
安全感 ．．．．．．．．．．．．．． 112
避免運維壓力過大 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 114
運維壓力過大 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 114
奸詐的敵人―運維壓力不夠 ．．．． 115
小結(jié) ．．．．．．．．．．．．．．．．． 115
第12 章 有效的故障排查手段．．．．．．．．．．．．．．．． 116
理論 ．．．．．．．．．．．．．．．．． 117
實踐 ．．．．．．．．．．．．．．．．． 119
故障報告 ．． 119
定位 ．．．．．．．．．． 119
檢查 ．．．．．．．．．． 120
診斷 ．．．．．．．．．． 122
測試和修復(fù)．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 124
神奇的負面結(jié)果 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 125
治愈 ．．．．．．．．．． 126
案例分析 ．．．．．．．．．． 127
使故障排查更簡單 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 130
小結(jié) ．．．．．．．．．．．．．．．．． 130
第13 章 緊急事件響應(yīng)．．．．．．．．．．．．．．．．．．．．．．．． 131
當(dāng)系統(tǒng)出現(xiàn)問題時怎么辦 ．．．．．．．．．．．．．．．．．．． 131
測試導(dǎo)致的緊急事故 ．．．．．．．．．．．．．．．．．．．．．．．．．． 132
細節(jié) ．．．．．．．．．． 132
響應(yīng) ．．．．．．．．．． 132
事后總結(jié) ．． 132
變更部署帶來的緊急事故 ．．．．．．．．．．．．．．．．．．． 133
細節(jié) ．．．．．．．．．． 133
事故響應(yīng) ．． 134
事后總結(jié) ．． 134
流程導(dǎo)致的嚴重事故 ．．．．．．．．．．．．．．．．．．．．．．．．．． 135
細節(jié) ．．．．．．．．．． 135
災(zāi)難響應(yīng) ．． 136
事后總結(jié) ．． 136
所有的問題都有解決方案 ．．．．．．．．．．．．．．．．．．． 137
向過去學(xué)習(xí)，而不是重復(fù)它 ．．．．．．．．．．．．．．． 138
為事故保留記錄 ．．．．．．．．．．．．．．．．．．．．．．．．．． 138
提出那些大的，甚至不可能的問題：假如…… ．．．．．．．．．．．．． 138
鼓勵主動測試 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 138
小結(jié) ．．．．．．．．．．．．．．．．． 138
第14 章 緊急事故管理．．．．．．．．．．．．．．．．．．．．．．． 140
無流程管理的緊急事故．．．．．．．．．．．．．．．．．．．．．．． 140
對這次無流程管理的事故的剖析 ．．．．．．．． 141
過于關(guān)注技術(shù)問題 ．．．．．．．．．．．．．．．．．．．．．． 141
溝通不暢 ．． 141
不請自來 ．． 142
緊急事故的流程管理要素 ．．．．．．．．．．．．．．．．．．． 142
嵌套式職責(zé)分離 ．．．．．．．．．．．．．．．．．．．．．．．．．． 142
控制中心 ．． 143
實時事故狀態(tài)文檔 ．．．．．．．．．．．．．．．．．．．．．． 143
明確公開的職責(zé)交接 ．．．．．．．．．．．．．．．．．．． 143
一次流程管理良好的事故 ．．．．．．．．．．．．．．．．．．． 144
什么時候?qū)ν庑际鹿剩?144
小結(jié) ．．．．．．．．．．．．．．．．． 145
第15 章 事后總結(jié)：從失敗中學(xué)習(xí)．．．．．．．．． 146
Google 的事后總結(jié)哲學(xué) ．．．．．．．．．．．．．．．．．．．．．． 146
協(xié)作和知識共享 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 148
建立事后總結(jié)文化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 149
小結(jié)以及不斷優(yōu)化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 151
第16 章 跟蹤故障．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．152
Escalator ．．．．．．．．．． 152
Outalator ．．．．．．．．．． 153
聚合 ．．．．．．．．．． 154
加標(biāo)簽 ．．．．．． 155
分析 ．．．．．．．．．． 155
未預(yù)料到的好處 ．．．．．．．．．．．．．．．．．．．．．．．．．． 156
第17 章 測試可靠性．．．．．．．．．．．．．．．．．．．．．．．．．．．157
軟件測試的類型 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 158
傳統(tǒng)測試 ．． 159
生產(chǎn)測試 ．． 160
創(chuàng)造一個構(gòu)建和測試環(huán)境 ．．．．．．．．．．．．．．．．．．． 163
大規(guī)模測試 ．．．．．． 165
測試大規(guī)模使用的工具 ．．．．．．．．．．．．．．． 166
針對災(zāi)難的測試 ．．．．．．．．．．．．．．．．．．．．．．．．．． 167
對速度的渴求 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 168
發(fā)布到生產(chǎn)環(huán)境 ．．．．．．．．．．．．．．．．．．．．．．．．．． 170
允許測試失敗 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 170
集成 ．．．．．．．．．． 172
生產(chǎn)環(huán)境探針 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 173
小結(jié) ．．．．．．．．．．．．．．．．． 175
第18 章 SRE 部門中的軟件工程實踐．．．．．176
為什么軟件工程項目對SRE 很重要 ．．． 176
Auxon 案例分析：項目背景和要解決的問題 ．．．．．．．．．．．．．．．．．．．．．．．． 177
傳統(tǒng)的容量規(guī)劃方法 ．．．．．．．．．．．．．．．．．．． 177
解決方案：基于意圖的容量規(guī)劃 179
基于意圖的容量規(guī)劃 ．．．．．．．．．．．．．．．．．．．．．．．．．． 180
表達產(chǎn)品意圖的先導(dǎo)條件 ．．．．．．．．．．． 181
Auxon 簡介 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 182
需求和實現(xiàn)：成功和不足 ．．．．．．．．．．． 183
提升了解程度，推進采用率 ．．．．．．． 185
團隊內(nèi)部組成 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 187
在SRE 團隊中培養(yǎng)軟件工程風(fēng)氣 ．．．．．． 187
在SRE 團隊中建立起軟件工程氛圍：招聘與開發(fā)時間 188
做到這一點．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 189
小結(jié) ．．．．．．．．．．．．．．．．． 190
第19 章 前端服務(wù)器的負載均衡．．．．．．．．．．．．． 191
有時候硬件并不能解決問題 ．．．．．．．．．．．．．．． 191
使用DNS 進行負載均衡 ．．．．．．．．．．．．．．．．．．．．． 192
負載均衡：虛擬IP．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 194
第20 章 數(shù)據(jù)中心內(nèi)部的負載均衡系統(tǒng)．．．．197
理想情況 ．．．．．．．．．． 198
識別異常任務(wù)：流速控制和跛腳鴨任務(wù) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 199
異常任務(wù)的簡單應(yīng)對辦法：流速控制．．．．．．．．．．．．．．．．．．．．．．．．．．．． 199
一個可靠的識別異常任務(wù)的方法：跛腳鴨狀態(tài) ．．．．．．．．．．．．． 200
利用劃分子集限制連接池大小 ．．．．．．．．．．． 201
選擇合適的子集 ．．．．．．．．．．．．．．．．．．．．．．．．．． 201
子集選擇算法一：隨機選擇 ．．．．．．． 202
子集選擇算法二：確定性算法 ．．．． 204
負載均衡策略 ．． 206
簡單輪詢算法 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 206
*閑輪詢策略 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 209
加權(quán)輪詢策略 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 210
第21 章 應(yīng)對過載．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．212
QPS 陷阱 ．．．．．．．．． 213
給每個用戶設(shè)置限制 ．．．．．．．．．．．．．．．．．．．．．．．．．． 213
客戶端側(cè)的節(jié)流機制 ．．．．．．．．．．．．．．．．．．．．．．．．．． 214
重要性 ．．．．．．．．．．．．．． 216
資源利用率信號 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 217
處理過載錯誤 ．． 217
決定何時重試 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 218
連接造成的負載 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 220
小結(jié) ．．．．．．．．．．．．．．．．． 221
第22 章 處理連鎖故障．．．．．．．．．．．．．．．．．．．．．．． 223
連鎖故障產(chǎn)生的原因和如何從設(shè)計上避免 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 224
服務(wù)器過載．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 224
資源耗盡 ．． 225
服務(wù)不可用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 228
防止軟件服務(wù)器過載 ．．．．．．．．．．．．．．．．．．．．．．．．．． 228
隊列管理 ．． 229
流量拋棄和優(yōu)雅降級 ．．．．．．．．．．．．．．．．．．． 230
重試 ．．．．．．．．．． 231
請求延遲和截止時間 ．．．．．．．．．．．．．．．．．．． 234
慢啟動和冷緩存 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 236
保持調(diào)用棧永遠向下 ．．．．．．．．．．．．．．．．．．． 238
連鎖故障的觸發(fā)條件 ．．．．．．．．．．．．．．．．．．．．．．．．．． 238
進程崩潰 ．． 239
進程更新 ．． 239
新的發(fā)布 ．． 239
自然增長 ．． 239
計劃中或計劃外的不可用 ．．．．．．．．．．． 239
連鎖故障的測試 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 240
測試直到出現(xiàn)故障，還要繼續(xù)測試 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 240
測試*常用的客戶端 ．．．．．．．．．．．．．．．．．．． 241
測試非關(guān)鍵性后端 ．．．．．．．．．．．．．．．．．．．．．． 242
解決連鎖故障的立即步驟 ．．．．．．．．．．．．．．．．．．． 242
增加資源 ．． 242
停止健康檢查導(dǎo)致的任務(wù)死亡 ．．．． 242
重啟軟件服務(wù)器 ．．．．．．．．．．．．．．．．．．．．．．．．．． 242
丟棄流量 ．． 243
進入降級模式 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 243
消除批處理負載 ．．．．．．．．．．．．．．．．．．．．．．．．．． 244
消除有害的流量 ．．．．．．．．．．．．．．．．．．．．．．．．．． 244
小結(jié) ．．．．．．．．．．．．．．．．． 244
第23 章 管理關(guān)鍵狀態(tài)：利用分布式共識來提高可靠性．．．．．．．．．．．．．．．．．． 246
使用共識系統(tǒng)的動力：分布式系統(tǒng)協(xié)調(diào)失敗 ．．．．．．．．．．．．．．．．．．．．．．．． 248
案例1 ：腦裂問題 ．．．．．．．．．．．．．．．．．．．．．．． 249
案例2 ：需要人工干預(yù)的災(zāi)備切換 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 249
案例3 ：有問題的小組成員算法 ． 249
分布式共識是如何工作的 ．．．．．．．．．．．．．．．．．．． 250
Paxos 概要：協(xié)議示例 ．．．．．．．．．．．．．．．． 251
分布式共識的系統(tǒng)架構(gòu)模式 ．．．．．．．．．．．．．．． 251
可靠的復(fù)制狀態(tài)機 ．．．．．．．．．．．．．．．．．．．．．． 252
可靠的復(fù)制數(shù)據(jù)存儲和配置存儲 252
使用領(lǐng)頭人選舉機制實現(xiàn)高可用的處理系統(tǒng) ．．．．．．．．．．．．．．．． 253
分布式協(xié)調(diào)和鎖服務(wù) ．．．．．．．．．．．．．．．．．．． 253
可靠的分布式隊列和消息傳遞 ．．．． 254
分布式共識系統(tǒng)的性能問題 ．．．．．．．．．．．．．．． 255
復(fù)合式Paxos ：消息流過程詳解 ． 257
應(yīng)對大量的讀操作 ．．．．．．．．．．．．．．．．．．．．．． 258
法定租約 ．． 259
分布式共識系統(tǒng)的性能與網(wǎng)絡(luò)延遲 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 259
快速Paxos 協(xié)議：性能優(yōu)化 ．．．．．．．． 260
穩(wěn)定的領(lǐng)頭人機制 ．．．．．．．．．．．．．．．．．．．．．． 261
批處理 ．．．．．． 262
磁盤訪問 ．． 262
分布式共識系統(tǒng)的部署．．．．．．．．．．．．．．．．．．．．．．． 263
副本的數(shù)量．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 263
副本的位置．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 265
容量規(guī)劃和負載均衡 ．．．．．．．．．．．．．．．．．．． 266
對分布式共識系統(tǒng)的監(jiān)控 ．．．．．．．．．．．．．．．．．．． 270
小結(jié) ．．．．．．．．．．．．．．．．． 272
第24 章 分布式周期性任務(wù)系統(tǒng)．．．．．．．．．．． 273
Cron ．．．．．．．．．．．．．．．．． 273
介紹 ．．．．．．．．．． 273
可靠性 ．．．．．． 274
Cron 任務(wù)和冪等性 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 274
大規(guī)模Cron 系統(tǒng) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 275
對基礎(chǔ)設(shè)施的擴展 ．．．．．．．．．．．．．．．．．．．．．． 275
對需求的擴展 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 276
Google Cron 系統(tǒng)的構(gòu)建過程 ．．．．．．．．．．．．． 277
跟蹤Cron 任務(wù)的狀態(tài) ．．．．．．．．．．．．．．．．． 277
Paxos 協(xié)議的使用 ．．．．．．．．．．．．．．．．．．．．．．． 277
領(lǐng)頭人角色和追隨者角色 ．．．．．．．．．．． 278
保存狀態(tài) ．． 281
運維大型Cron 系統(tǒng) ．．．．．．．．．．．．．．．．．．．． 282
小結(jié) ．．．．．．．．．．．．．．．．． 283
第25 章 數(shù)據(jù)處理流水線．．．．．．．．．．．．．．．．．．．． 284
流水線設(shè)計模式的起源．．．．．．．．．．．．．．．．．．．．．．． 284
簡單流水線設(shè)計模式與大數(shù)據(jù) ．．．．．．．．．．． 284
周期性流水線模式的挑戰(zhàn) ．．．．．．．．．．．．．．．．．．． 285
工作分發(fā)不均造成的問題 ．．．．．．．．．．．．．．．．．．． 285
分布式環(huán)境中周期性數(shù)據(jù)流水線的缺點 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 286
監(jiān)控周期性流水線的問題 ．．．．．．．．．．． 287
驚群效應(yīng) ．． 287
摩爾負載模式 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 288
Google Workflow 簡介 ．．．．．．．．．．．．．．．．．．．．．．．． 289
Workflow 是模型―視圖―控制器（MVC）模式 ．．．．．．．．．． 290
Workflow 中的執(zhí)行階段 ．．．．．．．．．．．．．．．．．．．．． 291
Workflow 正確性保障 ．．．．．．．．．．．．．．．．． 291
保障業(yè)務(wù)的持續(xù)性 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 292
小結(jié) ．．．．．．．．．．．．．．．．． 294
第26 章 數(shù)據(jù)完整性：讀寫一致．．．．．．．．．．． 295
數(shù)據(jù)完整性的強需求 ．．．．．．．．．．．．．．．．．．．．．．．．．． 296
提供超高的數(shù)據(jù)完整性的策略 ．．．． 297
備份與存檔．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 298
云計算環(huán)境下的需求 ．．．．．．．．．．．．．．．．．．． 299
保障數(shù)據(jù)完整性和可用性：Google SRE 的目標(biāo) ．．．．．．．．．．．．．．．．．．． 300
數(shù)據(jù)完整性是手段，數(shù)據(jù)可用性是目標(biāo) ．．．．．．．．．．．．．．．．．．．．．．．． 300
交付一個恢復(fù)系統(tǒng)，而非備份系統(tǒng) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 301
造成數(shù)據(jù)丟失的事故類型 ．．．．．．．．．．． 301
維護數(shù)據(jù)完整性的深度和廣度的困難之處 ．．．．．．．．．．．．．．．．．．．． 303
Google SRE 保障數(shù)據(jù)完整性的手段 ．． 304
24 種數(shù)據(jù)完整性的事故組合 ．．．．．． 304
**層： 軟刪除 ．．．．．．．．．．．．．．．．．．．．．．．．．． 305
第二層：備份和相關(guān)的恢復(fù)方法 306
額外一層：復(fù)制機制 ．．．．．．．．．．．．．．．．．．． 308
1T vs． 1E ：存儲更多數(shù)據(jù)沒那么簡單．．．．．．．．．．．．．．．．．．．．．．．．．．．． 309
第三層：早期預(yù)警 ．．．．．．．．．．．．．．．．．．．．．． 310
確保數(shù)據(jù)恢復(fù)策略可以正常工作 313
案例分析 ．．．．．．．．．． 314
Gmail―2011 年2 月：從GTape 上恢復(fù)數(shù)據(jù)（ 磁帶） 314
Google Music―2012 年3 月：一次意外刪除事故的檢測過程 ．315
SRE 的基本理念在數(shù)據(jù)完整性上的應(yīng)用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 319
保持初學(xué)者的心態(tài) ．．．．．．．．．．．．．．．．．．．．．． 319
信任但要驗證 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 320
不要一廂情愿 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 320
縱深防御 ．． 320
小結(jié) ．．．．．．．．．．．．．．．．． 321
第27 章 可靠地進行產(chǎn)品的大規(guī)模發(fā)布．．． 322
發(fā)布協(xié)調(diào)工程師 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 323
發(fā)布協(xié)調(diào)工程師的角色 ．．．．．．．．．．．．．．． 324
建立發(fā)布流程 ．． 325
發(fā)布檢查列表 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 326
推動融合和簡化 ．．．．．．．．．．．．．．．．．．．．．．．．．． 326
發(fā)布未知的產(chǎn)品 ．．．．．．．．．．．．．．．．．．．．．．．．．． 327
起草一個發(fā)布檢查列表．．．．．．．．．．．．．．．．．．．．．．． 327
架構(gòu)與依賴．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 328
集成 ．．．．．．．．．． 328
容量規(guī)劃 ．． 328
故障模式 ．． 329
客戶端行為．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 329
流程與自動化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 330
開發(fā)流程 ．． 330
外部依賴 ．． 331
發(fā)布計劃 ．． 331
可靠發(fā)布所需要的方法論 ．．．．．．．．．．．．．．．．．．． 332
灰度和階段性發(fā)布 ．．．．．．．．．．．．．．．．．．．．．． 332
功能開關(guān)框架 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 333
應(yīng)對客戶端濫用行為 ．．．．．．．．．．．．．．．．．．． 334
過載行為和壓力測試 ．．．．．．．．．．．．．．．．．．． 335
LCE 的發(fā)展 ．．．．．． 335
LCE 檢查列表的變遷 ．．．．．．．．．．．．．．．．．． 336
LCE 沒有解決的問題 ．．．．．．．．．．．．．．．．．． 337
小結(jié) ．．．．．．．．．．．．．．．．． 338
第Ⅳ部分 管理
第28 章 迅速培養(yǎng)SRE 加入on-call．．． 341
新的SRE 已經(jīng)招聘到了，接下來怎么辦 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 341
培訓(xùn)初期：重體系，而非混亂 ．．．．．．．．．．． 344
系統(tǒng)性、累積型的學(xué)習(xí)方式 ．．．．．．． 345
目標(biāo)性強的項目工作，而非瑣事 346
培養(yǎng)反向工程能力和隨機應(yīng)變能力 ．．．． 347
反向工程：弄明白系統(tǒng)如何工作 347
統(tǒng)計學(xué)和比較性思維：在壓力下堅持科學(xué)方法論 ．．．．．．．．． 347
隨機應(yīng)變的能力：當(dāng)意料之外的事情發(fā)生時怎么辦 ．．．．． 348
將知識串聯(lián)起來：反向工程某個生產(chǎn)環(huán)境服務(wù) ．．．．．．．．．．．．． 348
有抱負的on-call 工程師的5 個特點．．． 349
對事故的渴望：事后總結(jié)的閱讀和書寫 ．．．．．．．．．．．．．．．．．．．．．．．． 349
故障處理分角色演習(xí) ．．．．．．．．．．．．．．．．．．． 350
破壞真的東西，并且修復(fù)它們 ．．．． 351
維護文檔是學(xué)徒任務(wù)的一部分 ．．．． 352
盡早、盡快見習(xí)on-call ．．．．．．．．．．．．．． 353
on-call 之后：通過培訓(xùn)的儀式感，以及日后的持續(xù)教育 ．．．．． 354
小結(jié) ．．．．．．．．．．．．．．．．． 354
第29 章 處理中斷性任務(wù)．．．．．．．．．．．．．．．．．．．． 355
管理運維負載 ．． 356
如何決策對中斷性任務(wù)的處理策略 ．．．． 356
不完美的機器 ．． 357
流狀態(tài) ．．．．．． 357
將一件事情做好 ．．．．．．．．．．．．．．．．．．．．．．．．．． 358
實際一點的建議 ．．．．．．．．．．．．．．．．．．．．．．．．．． 359
減少中斷 ．． 361
第30 章 通過嵌入SRE 的方式幫助團隊從運維過載中恢復(fù)．．．．．．．．．．．．． 363
**階段：了解服務(wù)，了解上下文 ．．．． 364
確定*大的壓力來源 ．．．．．．．．．．．．．．．．．．． 364
找到導(dǎo)火索．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 364
第二階段：分享背景知識 ．．．．．．．．．．．．．．．．．．． 365
書寫一個好的事后總結(jié)作為示范 366
將緊急事件按類型排序 ．．．．．．．．．．．．．．． 366
第三階段：主導(dǎo)改變 ．．．．．．．．．．．．．．．．．．．．．．．．．． 367
從基礎(chǔ)開始．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 367
獲取團隊成員的幫助 ．．．．．．．．．．．．．．．．．．． 367
解釋你的邏輯推理過程 ．．．．．．．．．．．．．．． 368
提出引導(dǎo)性問題 ．．．．．．．．．．．．．．．．．．．．．．．．．． 368
小結(jié) ．．．．．．．．．．．．．．．．． 369
第 31 章 SRE 與其他團隊的溝通與協(xié)作． 370
溝通：生產(chǎn)會議 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 371
議程 ．．．．．．．．．． 372
出席人員 ．． 373
SRE 的內(nèi)部協(xié)作 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 374
團隊構(gòu)成 ．． 375
高效工作的技術(shù) ．．．．．．．．．．．．．．．．．．．．．．．．．． 375
SRE 內(nèi)部的協(xié)作案例分析：Viceroy ．．． 376
Viceroy 的誕生 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 376
所面臨的挑戰(zhàn) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 378
建議 ．．．．．．．．．． 379
SRE 與其他部門之間的協(xié)作 ．．．．．．．．．．．．．．． 380
案例分析：將DFP 遷移到F1 ．．．．．．．．．．．．． 380
小結(jié) ．．．．．．．．．．．．．．．．． 382
第32 章 SRE 參與模式的演進歷程．．．．．．． 383
SRE 參與模式：是什么、怎么樣以及為什么 ．．．．．．．．．．．．．．．．．．．．．．． 383
PRR 模型 ．．．．．．．．． 384
SRE 參與模型 ． 384
替代性支持．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 385
PRR ：簡單PRR 模型 ．．．．．．．．．．．．．．．．．．．．．．．．． 386
參與 ．．．．．．．．．． 386
分析 ．．．．．．．．．． 387
改進和重構(gòu)．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 387
培訓(xùn) ．．．．．．．．．． 388
“接手”服務(wù) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 388
持續(xù)改進 ．． 388
簡單PRR 模型的演進：早期參與模型 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 389
早期參與模型的適用對象 ．．．．．．．．．．． 389
早期參與模型的優(yōu)勢 ．．．．．．．．．．．．．．．．．．． 390
不斷發(fā)展的服務(wù)：框架和SRE 平臺 ．．． 391
經(jīng)驗教訓(xùn) ．． 391
影響SRE 的外部因素 ．．．．．．．．．．．．．．．．． 392
結(jié)構(gòu)化的解決方案：框架 ．．．．．．．．．．． 392
新服務(wù)和管理優(yōu)勢 ．．．．．．．．．．．．．．．．．．．．．． 394
小結(jié) ．．．．．．．．．．．．．．．．． 395
第Ⅴ部分 結(jié)束語
第33 章 其他行業(yè)的實踐經(jīng)驗．．．．．．．．．．．．．． 398
有其他行業(yè)背景的資深SRE ．．．．．．．．．．．．．．． 399
災(zāi)難預(yù)案與演習(xí) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 400
從組織架構(gòu)層面堅持不懈地對安全進行關(guān)注 ．．．．．．．．．．．．．．．． 401
關(guān)注任何細節(jié) ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 401
冗余容量 ．． 401
模擬以及進行線上災(zāi)難演習(xí) ．．．．．．． 402
培訓(xùn)與考核．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 402
對詳細的需求收集和系統(tǒng)設(shè)計的關(guān)注．．．．．．．．．．．．．．．．．．．．．．．．．．．． 402
縱深防御 ．． 403
事后總結(jié)的文化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 403
將重復(fù)性工作自動化，消除運維負載 404
結(jié)構(gòu)化和理性的決策 ．．．．．．．．．．．．．．．．．．．．．．．．．． 406
小結(jié) ．．．．．．．．．．．．．．．．． 407
第34 章 結(jié)語．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 408
附錄A 系統(tǒng)可用性．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 411
附錄B 生產(chǎn)環(huán)境運維過程中的*佳實踐．．．412
附錄C 事故狀態(tài)文檔示范．．．．．．．．．．．．．．．．．．． 417
附錄D 事后總結(jié)示范．．．．．．．．．．．．．．．．．．．．．．．．． 419
附錄E 發(fā)布協(xié)調(diào)檢查列表．．．．．．．．．．．．．．．．．．． 423
附錄F 生產(chǎn)環(huán)境會議記錄示范．．．．．．．．．．．．．． 425
參考文獻．．．．．．． 427
索引．．．．．．．．．．．．． 439
展開全部
SRE(Google運維解密) 作者簡介
Besty Beyer 是Google 紐約負責(zé)SRE 的一名技術(shù)文檔作家。她之前曾為遍布全球的Google 數(shù)據(jù)中心與Mountain View 硬件運維團隊編寫文檔。在搬到紐約之前，Betsy 是Stanford 技術(shù)性寫作課程的講師。她曾經(jīng)學(xué)習(xí)國際關(guān)系與英文文學(xué)，并在Stanford 和Tulane 獲得學(xué)歷。Chris Jones 是Google App Engine 的一名SRE。Google App Engine 是一個PaaS 服務(wù)，每天處理超過280 億個請求。他的辦公室在舊金山，他之前的工作包括Google 廣告統(tǒng)計、數(shù)據(jù)倉庫，以及用戶支持系統(tǒng)的維護。在之前，Chris 曾經(jīng)在學(xué)校IT 行業(yè)任職，同時參與過競選數(shù)據(jù)分析，以及一些BSD 內(nèi)核的修改。他有計算機工程、經(jīng)濟學(xué)，以及技術(shù)政策學(xué)的學(xué)位。同時他也是一名有執(zhí)照的職業(yè)工程師。Jennifer Petoff 是Google SRE 團隊的一名項目經(jīng)理，工作地點在都柏林，愛爾蘭。她曾經(jīng)負責(zé)管理大型全球項目，包括：科學(xué)研究、工程、人力資源，以及廣告等。Jennifer在加入Google 之前，曾在化工行業(yè)任職八年。她具有Stanford 大學(xué)的化學(xué)博士與學(xué)士學(xué)位，同時她還擁有Rochester 大學(xué)的心理學(xué)學(xué)位。Niall Murphy 是Google 愛爾蘭團隊廣告SRE 的負責(zé)人。他擁有20 年互聯(lián)網(wǎng)行業(yè)經(jīng)驗，目前是INEX（愛爾蘭網(wǎng)絡(luò)互聯(lián)樞紐）的主席。他曾經(jīng)寫作以及參與寫作很多科技文章與書籍，包括O’Reilly 出版的IPv6 Network Administration，以及很多RFC。他目前在參與書寫愛爾蘭互聯(lián)網(wǎng)發(fā)展史。他擁有計算機科學(xué)、數(shù)學(xué)，以及詩歌學(xué)的學(xué)歷（他當(dāng)時一定是想錯了！）。他目前與妻子和兩個兒子居住在都柏林。孫宇聰，前Google SRE（2007-2015），山景城總部，曾參與構(gòu)建運維Youtube 全球CDN網(wǎng)絡(luò)，2008年奧運會直播項目，構(gòu)建維護海量視頻編碼傳輸系統(tǒng)。后參與Google內(nèi)部云平臺運維工作，負責(zé)運維全球百萬級別服務(wù)器集群，以及Borg、Omega等大規(guī)模集群理系統(tǒng)。2015年加入Coding，任CTO一職。回國后，積極推動國內(nèi)容器化運維架構(gòu)升級。目前是開放運維聯(lián)盟之應(yīng)用運維規(guī)范制定組，高可用運維規(guī)范制定者。
書友推薦
- >
苦雨齋序跋文-周作人自編集
- >
李白與唐代文化
- >
【精裝繪本】畫給孩子的中國神話
- >
巴金－再思錄
- >
小考拉的故事-套裝共3冊
- >
經(jīng)典常談
- >
人文閱讀與收藏·良友文學(xué)叢書:一天的工作
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
本類暢銷
