-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
智能運維:從0搭建大規模分布式AIOPS系統 版權信息
- ISBN:9787121346637
- 條形碼:9787121346637 ; 978-7-121-34663-7
- 裝幀:一般膠版紙
- 冊數:暫無
- 重量:暫無
- 所屬分類:>
智能運維:從0搭建大規模分布式AIOPS系統 本書特色
本書將全面完整地介紹智能運維的技術體系,以及大企業的智能運維實踐經驗,讓讀者更加了解運維技術的現狀和發展方向,在實踐中能夠有所借鑒。同時,也能幫助運維工程師在一定程度上了解到機器學習的常見算法模型,以及如何將它們應用到運維工作中。全書共分4篇。第1篇運維發展史,將重點闡述當前運維的發展現狀及面臨的技術挑戰;第2篇智能運維基礎設施,將重點講述大數據場景下的數據存儲、大數據處理和分析的方法與經驗,以及海量數據多維度多指標的處理分析技術;第3篇智能運維技術詳解,將重點關注在新時期大數據時代下,如何進行智能化的運維體系建設;第4篇技術案例詳解,為大家梳理了通過開源框架ELK快速構建智能監控系統的整體方案,還將分享微博平臺和微博廣告兩個不同業務場景下智能監控系統的技術實踐。
智能運維:從0搭建大規模分布式AIOPS系統 內容簡介
本書將全面完整地介紹智能運維的技術體系,以及大企業的智能運維實踐經驗,讓讀者更加了解運維技術的現狀和發展方向,在實踐中能夠有所借鑒。同時,也能幫助運維工程師在一定程度上了解到機器學習的常見算法模型,以及如何將它們應用到運維工作中。全書共分4篇。靠前篇運維發展史,將重點闡述當前運維的發展現狀及面臨的技術挑戰;第2篇智能運維基礎設施,將重點講述大數據場景下的數據存儲、大數據處理和分析的方法與經驗,以及海量數據多維度多指標的處理分析技術;第3篇智能運維技術詳解,將重點關注在新時期大數據時代下,如何進行智能化的運維體系建設;第4篇技術案例詳解,為大家梳理了通過開源框架ELK快速構建智能監控系統的整體方案,還將分享微博平臺和微博廣告兩個不同業務場景下智能監控系統的技術實踐。
智能運維:從0搭建大規模分布式AIOPS系統 目錄
1.1 運維工程 2
1.1.1 認識運維 2
1.1.2 主要職責 4
1.1.3 運維技術 5
1.2 運維發展歷程 6
1.2.1 人工階段 6
1.2.2 工具和自動化階段 7
1.2.3 平臺化階段 7
1.2.4 智能運維階段 8
1.3 運維現狀 9
1.3.1 故障頻發 9
1.3.2 系統復雜性 10
1.3.3 大數據環境 12
1.4 本章小結 14
1.5 參考文獻 14 第2章 智能運維 15
2.1 海量數據的存儲、分析和處理 16
2.2 多維度、多數據源 18
2.3 信息過載 19
2.4 復雜業務模型下的故障定位 21
2.5 本章小結 22
2.6 參考文獻 22 第2篇 站在巨人肩上:智能運維基礎設施 第3章 開源數據采集技術 25
3.1 數據采集工具對比 25
3.2 輕量級采集工具Filebeat 26
3.2.1 Filebeat工作原理 26
3.2.2 Filebeat的安裝與配置 28
3.2.3 啟動和運行Filebeat 38
3.3 日志采集解析工具 38
3.3.1 Logstash工作原理 39
3.3.2 安裝Logstash 40
3.3.3 配置Logstash 41
3.3.4 啟動Logstash 49
3.4 本章小結 49
3.5 參考文獻 50 第4章 分布式消息隊列 51
4.1 開源消息隊列對比與分析 51 4.1.1 概述 51
4.1.2 ZeroMQ 51
4.1.3 ActiveMQ 52
4.1.4 RocketMQ 52
4.1.5 Kafka 53
4.2 Kafka安裝與使用 53
4.2.1 組件概念 53
4.2.2 基本特性 53
4.2.3 安裝與使用 54
4.2.4 Java API使用 55
4.3 案例分析 57
4.3.1 日志采集 58
4.3.2 實時結算 58
4.3.3 實時計算 58
4.4 本章小結 58
4.5 參考文獻 59 第5章 大數據存儲技術 60
5.1 傳統數據存儲 60
5.1.1 傳統應用的架構 60
5.1.2 傳統存儲的運行機制 61
5.1.3 傳統存儲帶來的問題 62
5.2 基于HDFS的分布式存儲 63
5.2.1 分布式存儲的定義 63
5.2.2 HDFS的基本原理 64
5.2.3 HDFS架構解析 65
5.2.4 HDFS優勢 66
5.2.5 HDFS不適合的場景 67
5.3 分層存儲 68
5.3.1 數據倉庫 68
5.3.2 數據倉庫分層架構 70
5.3.3 分層存儲的好處 73
5.4 案例分析 73
5.4.1 數據存儲架構 73
5.4.2 數據倉庫建模 74
5.4.3 常見的存儲問題及解決方案 80
5.5 本章小結 80
5.6 參考文獻 80 第6章 大規模數據離線計算分析 82
6.1 經典的離線計算 82
6.1.1 Linux神級工具sed和awk 82
6.1.2 Python數據處理Pandas基礎 84
6.1.3 Python的優勢和不足 88
6.2 分布式離線計算 89
6.2.1 MapReduce離線計算 89
6.2.2 離線計算的數據傾斜問題 97
6.2.3 分布式離線計算的技術棧 100
6.3 案例分析 101
6.3.1 離線計算管理 102
6.3.2 離線計算原子控制 103
6.3.3 離線計算的數據質量 103
6.4 本章小結 104
6.5 參考文獻 105 第7章 實時計算框架 106
7.1 關于實時流計算 106
7.1.1 如何提高實時流計算的實時性 106
7.1.2 如何提高實時流計算結果的準確性 107
7.1.3 如何提高實時流計算結果的響應速度 107
7.2 Spark Streaming計算框架介紹 107
7.2.1 概述 107
7.2.2 基本概念 108
7.2.3 運行原理 108
7.2.4 編程模型 109
7.2.5 Spark Streaming的使用 110
7.2.6 優化運行時間 114
7.3 Flink計算框架 115
7.3.1 基本概念 116
7.3.2 Flink特點 116
7.3.3 運行原理 118
7.3.4 Java API的使用 121
7.4 案例分析 124
7.4.1 背景介紹 125
7.4.2 架構設計 126
7.4.3 效果分析 126
7.5 本章小結 126
7.6 參考文獻 126 第8章 時序數據分析框架 127
8.1 時序數據庫簡介 127
8.1.1 什么是時序數據庫 127
8.1.2 時序數據庫的特點 128
8.1.3 時序數據庫對比 130
8.2 時序數據庫Graphite 131
8.2.1 Graphite簡介 131
8.2.2 Graphite在微博廣告監控系統中的應用 137
8.3 多維分析利器Druid 139
8.3.1 什么是Druid 139
8.3.2 Druid架構 140
8.3.3 Druid在微博廣告監控平臺中的應用 144
8.4 性能神器ClickHouse 147
8.4.1 什么是ClickHouse 147
8.4.2 ClickHouse的特性 148
8.4.3 ClickHouse的不足 149
8.4.4 安裝配置ClickHouse 149
8.4.5 表引擎 153
8.4.6 函數支持 157
8.5 本章小結 160
8.6 參考文獻 160 第9章 機器學習框架 161
9.1 簡介 161
9.2 TensorFlow介紹 162
9.2.1 什么是TensorFlow 162
9.2.2 下載安裝 162
9.2.3 “Hello TensorFlow”示例 166
9.3 TensorFlow進階 166
9.3.1 基礎理論 167
9.3.2 模型準備 169
9.3.3 訓練數據 169
9.3.4 模型訓練 171
9.3.5 生成seq2seq句子 174
9.3.6 運行演示 175
9.4 本章小結 178
9.5 參考文獻 179 第3篇 運維新時代:智能運維技術詳解 第10章 數據聚合與關聯技術 182
10.1 數據聚合 182
10.1.1 聚合運算 183
10.1.2 多維度聚合 186
10.2 降低維度 188
10.2.1 將告警聚合成關聯“事件” 189
10.2.2 減少誤報:告警分類 190
10.3 數據關聯 192
10.4 實時數據關聯案例 193
10.4.1 設計方案 193
10.4.2 效果 195
10.5 本章小結 195
10.6 參考文獻 195 第11章 數據異常點檢測技術 196
11.1 概述 196
11.2 異常檢測方法 198
11.2.1 基于統計模型的異常點檢測 199
11.2.2 基于鄰近度的異常點檢測 202
11.2.3 基于密度的異常點檢測 203
11.3 獨立森林 204
11.4 本章小結 207
11.5 參考文獻 207 第12章 故障診斷和分析策略 208
12.1 日志標準化 209
12.2 全鏈路追蹤 210
12.3 SLA的統一 210
12.4 傳統的故障定位方法 211
12.4.1 監控告警型 211
12.4.2 日志分析型 212
12.5 人工智能在故障定位領域的應用 213
12.5.1 基于關聯規則的相關性分析 213
12.5.2 基于決策樹的故障診斷 217
12.6 本章小結 222
12.7 參考文獻 222 第13章 趨勢預測算法 223
13.1 移動平均法 223
13.2 指數平滑法 224
13.3 ARIMA模型 226
13.3.1 簡介 226
13.3.2 重要概念 226
13.3.3 參數解釋 228
13.3.4 建模步驟 230
13.3.5 ARIMA模型案例 232
13.4 神經網絡模型 236
13.4.1 卷積神經網絡 236
13.4.2 循環神經網絡 238
13.4.3 長短期記憶網絡 239
13.4.4 應用說明 241
13.5 本章小結 241
13.6 參考文獻 242 第4篇 智能運維架構實踐:技術案例詳解 第14章 快速構建日志監控系統 244
14.1 Elasticsearch分布式搜索引擎 244
14.1.1 基本概念 244
14.1.2 分布式文檔存儲與讀取 248
14.1.3 分布式文檔檢索 250
14.1.4 分片管理 252
14.1.5 路由策略 254
14.1.6 映射 255
14.2 可視化工具Kibana 258
14.2.1 Management 260
14.2.2 Discover 260
14.2.3 Visualize 262
14.2.4 Dashboard 263
14.2.5 Timelion 263
14.2.6 Dev Tools 264
14.3 ELK搭建實踐 264
14.3.1 Logstash安裝配置 264
14.3.2 Elasticsearch集群安裝配置 266
14.3.3 Kibana安裝配置 272
14.4 本章小結 274
14.5 參考文獻 274 第15章 微博廣告智能監控系統 275
15.1 背景介紹 275
15.1.1 監控指標體系 275
15.1.2 功能設計原則 276
15.2 整體架構 277
15.3 核心功能分析 278
15.3.1 全景監控 278
15.3.2 趨勢預測 281
15.3.3 動態閾值 285
15.3.4 服務治理 285
15.4 本章小結 288 第16章 微博平臺通用監控系統 289
16.1 背景 290
16.2 整體架構 291
16.3 核心模塊 292
16.3.1 數據采集(Logtailer) 292
16.3.2 數據路由(Statsd-proxy) 295
16.3.3 聚合運算(Statsd) 295
16.3.4 數據分發(C-Relay)和數據存儲 295
16.3.5 告警模塊 297
16.3.6 API設計 300
16.3.7 數據可視化 301
16.4 第三方應用 302
16.4.1 決策支持系統 302
16.4.2 運維自動化 303
16.4.3 成本分析和容量日報 303
16.4.4 機器學習 303
16.5 本章小節 303
附錄A 中國大數據技術大會2017(BDTC 2017)CSDN專訪實錄 305
智能運維:從0搭建大規模分布式AIOPS系統 相關資料
本書是對AIOps的深度細化和技術補充,相關實踐可落地,很有說服力。 —— 蕭田國 高效運維社區發起人 AIOps標準及白皮書發起人 AIOps是運維領域的極大熱點,本書對底層技術進行詳細分析,并結合微博場景提供大量實戰案例,非常有參考價值。 —— 裴丹 清華大學計算機系長聘副教授 青年千人 美國AT&T研究院前主任研究員 智能運維算法專家 本書作者對智能運維技術體系進行全面梳理,完整呈現從思路到工具再到實踐的全過程。 —— 王鵬云 多盟聯合創始人 藍色光標技術創新孵化中心總經理 本書從大數據技術講到AI運維,詳細介紹實施智能運維依賴的基礎設施和架構技術,兼具參考性與實操性。 —— 梁定安 騰訊運維技術總監 專家工程師 本書可作為運維工程師提升運維水平的重要參考,也可作為通過運維 AI向自動化智能運維發展的依據。 —— 鐘華 美團打車技術研發部負責人 本書介紹異常檢測、根因分析、時序預測等智能運維實踐經驗,并梳理了其兩大基石:大數據和機器學習。 —— 饒琛琳 日志易產品總監 前新浪微博系統架構師 從運維平臺大數據處理到架構設計原理,再到AIOps相關模型和算法,將智能運維工程架構與算法實踐完美結合。 —— 陳曉峰 火幣集團副總裁 本書系統介紹大數據采集、存儲、處理、計算及策略應用各環節,并以微博監控為案例展示了監控平臺建設實踐。 —— 陸沛 滴滴打車SRE團隊負責人 技術專家
智能運維:從0搭建大規模分布式AIOPS系統 作者簡介
彭冬:微博廣告基礎架構團隊負責人、技術專家,商業大數據平臺及智能監控平臺發起人,目前負責廣告核心引擎基礎架構、Hubble智能監控系統、商業基礎數據平臺(D )等基礎設施建設。關注計算廣告、大數據、人工智能、高可用系統架構設計、區塊鏈等方向。在加入微博之前,曾就職于百度負責大數據平臺建設,曾擔任趣點科技聯合創始人兼CTO等職位。畢業于西北工業大學,曾在國內外知名期刊發表多篇學術論文,擁有9項發明專利。朱偉@kimi:微博廣告SRE團隊技術負責人,高級運維工程師,2016年4月加入微博,目前主要負責微博廣告智能監控報警平臺和服務治理等項目的建設與研究。
劉俊:微博平臺部監控技術負責人,負責微博平臺、PC微博大規模監控系統的建設,主要關注實時大數據、運維自動化、智能化方向。2014年加入微博,之前曾在新浪、搜狐等公司從事運維監控方面的工作。
王莉:University of Georgia碩士研究生,主要研究用機器學習方法,識別植物被水淹沒的季節性規律,研究成果已發表在SCI高影響因子期刊。2017年加入微博廣告團隊,致力于用數據分析和機器學習模型,優化廣告業務策略,洞悉商業價值。
陸松林:微博廣告數據倉庫負責人,高級研發工程師,先后就職于搜狐、愛奇藝,主要研究數據倉庫、數據治理相關技術。彭冬:微博廣告基礎架構團隊負責人、技術專家,商業大數據平臺及智能監控平臺發起人,目前負責廣告核心引擎基礎架構、Hubble智能監控系統、商業基礎數據平臺(D )等基礎設施建設。關注計算廣告、大數據、人工智能、高可用系統架構設計、區塊鏈等方向。在加入微博之前,曾就職于百度負責大數據平臺建設,曾擔任趣點科技聯合創始人兼CTO等職位。畢業于西北工業大學,曾在國內外知名期刊發表多篇學術論文,擁有9項發明專利。
朱偉@kimi:微博廣告SRE團隊技術負責人,高級運維工程師,2016年4月加入微博,目前主要負責微博廣告智能監控報警平臺和服務治理等項目的建設與研究。
劉俊:微博平臺部監控技術負責人,負責微博平臺、PC微博大規模監控系統的建設,主要關注實時大數據、運維自動化、智能化方向。2014年加入微博,之前曾在新浪、搜狐等公司從事運維監控方面的工作。
王莉:University of Georgia碩士研究生,主要研究用機器學習方法,識別植物被水淹沒的季節性規律,研究成果已發表在SCI高影響因子期刊。2017年加入微博廣告團隊,致力于用數據分析和機器學習模型,優化廣告業務策略,洞悉商業價值。
陸松林:微博廣告數據倉庫負責人,高級研發工程師,先后就職于搜狐、愛奇藝,主要研究數據倉庫、數據治理相關技術。
車亞強:微博廣告大數據開發工程師,曾在百度外賣負責實時流、微服務相關研發工作,目前主要研究方向為實時流、微服務架構設計。
- >
隨園食單
- >
月亮虎
- >
小考拉的故事-套裝共3冊
- >
經典常談
- >
伯納黛特,你要去哪(2021新版)
- >
朝聞道
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
我從未如此眷戀人間