-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
大數據叢書深入理解FLINK:實時大數據處理實踐 版權信息
- ISBN:9787121360459
- 條形碼:9787121360459 ; 978-7-121-36045-9
- 裝幀:一般膠版紙
- 冊數:暫無
- 重量:暫無
- 所屬分類:>>
大數據叢書深入理解FLINK:實時大數據處理實踐 本書特色
本書介紹了當下*流行的實時數據處理引擎Flink,講解了流處理API、批處理API、機器學習引擎FlinkML、關系型API、復雜事件處理FLinkCEP,以及指標度量與部署模式。此外,本書展開分析了流式數據處理理論中時間、窗口、水印、觸發器、遲到生存期之間的關聯關系;深入分析了多項式曲線擬合、分類算法SVM、推薦算法ALS-WR的理論和FlinkML實現。希望快速上手Flink以開展實時大數據處理與在線機器學習應用的從業者,本書是不二的選擇:本書首先介紹相關概念引入的原因、解決方案的演進過程、Flink的對應架構、編程案例以及開放式的思考問題。
大數據叢書深入理解FLINK:實時大數據處理實踐 內容簡介
本書介紹了當下很流行的實時數據處理引擎Flink,講解了流處理API、批處理API、機器學習引擎FlinkML、關系型API、復雜事件處理FLinkCEP,以及指標度量與部署模式。此外,本書展開分析了流式數據處理理論中時間、窗口、水印、觸發器、遲到生存期之間的關聯關系;深入分析了多項式曲線擬合、分類算法SVM、推薦算法ALS-WR的理論和FlinkML實現。希望快速上手Flink以開展實時大數據處理與在線機器學習應用的從業者,本書是不二的選擇:本書首先介紹相關概念引入的原因、解決方案的演進過程、Flink的對應架構、編程案例以及開放式的思考問題。
大數據叢書深入理解FLINK:實時大數據處理實踐 目錄
1.1 大數據處理架構演進歷程 ......................................................................... 1
1.2 案例分析 ..................................................................................................... 8
1.2.1 SK 電信駕駛安全性評分 ................................................................ 8
1.2.2 流式機器學習應用 ........................................................................ 12
1.3 流式數據架構基本概念 ........................................................................... 17
1.3.1 流 .................................................................................................... 17
1.3.2 時間 ................................................................................................ 18
1.3.3 窗口 ................................................................................................ 21
1.3.4 水印 ................................................................................................ 23
1.3.5 觸發器 ............................................................................................ 23
1.3.6 數據處理模式 ................................................................................ 23
1.3.7 如何理解流式數據架構的內在機制 ............................................ 27
1.4 根據事件時間開滾動窗口 ....................................................................... 28
1.4.1 what:轉換/where:窗口 ........................................................... 29
1.4.2 when:水印 ................................................................................... 29
1.4.3 when:觸發器 ............................................................................... 32
1.4.4 when:遲到生存期 ....................................................................... 34
1.4.5 how:累加模式 ............................................................................. 35
1.5 一致性 ....................................................................................................... 37
1.5.1 有狀態計算 .................................................................................... 37
1.5.2 exactly-once 語義 ........................................................................... 38
1.5.3 異步屏障快照 ................................................................................ 39
1.5.4 保存點 ............................................................................................ 44
1.6 思考題 ....................................................................................................... 45
第 2 章 編程基礎 ........................................................................................... 46
2.1 Flink 概述 ................................................................................................. 46
2.2 讓輪子轉起來 ........................................................................................... 47
2.2.1 本書約定 ........................................................................................ 47
2.2.2 搭建單機版環境 ............................................................................ 48
2.2.3 配置 IDEA ..................................................................................... 51
2.3 編程模型 ................................................................................................... 53
2.3.1 分層組件棧 .................................................................................... 53
2.3.2 流式計算模型 ................................................................................ 54
2.3.3 流處理編程 .................................................................................... 57
2.4 運行時 ....................................................................................................... 62
2.4.1 運行時結構 .................................................................................... 62
2.4.2 任務調度 ........................................................................................ 66
2.4.3 物理執行計劃 ................................................................................ 69
2.5 思考題 ....................................................................................................... 70
第 3 章 流處理 API ........................................................................................ 71
3.1 流處理 API 概述....................................................................................... 71
3.2 時間處理 ................................................................................................... 73
3.2.1 時間 ................................................................................................ 73
3.2.2 水印 ................................................................................................ 74
3.2.3 周期性水印生成器 ........................................................................ 75
3.2.4 間歇性水印生成器 ........................................................................ 77
3.2.5 遞增式水印生成器 ........................................................................ 78
3.3 算子 ........................................................................................................... 79
3.3.1 算子函數 ........................................................................................ 80
3.3.2 數據分區 ........................................................................................ 83
3.3.3 資源共享 ........................................................................................ 85
3.3.4 RichFunction .................................................................................. 85
3.3.5 輸出帶外數據 ................................................................................ 86
3.4 窗口 ........................................................................................................... 86
3.4.1 窗口分類 ........................................................................................ 87
3.4.2 窗口函數 ........................................................................................ 90
3.4.3 觸發器 ............................................................................................ 94
3.4.4 清除器 ............................................................................................ 96
3.4.5 遲到生存期 .................................................................................... 96
3.5 連接器 ....................................................................................................... 97
3.5.1 HDFS 連接器 ................................................................................. 98
3.5.2 Kafka .............................................................................................. 99
3.5.3 異步 I/O ........................................................................................ 102
3.6 狀態管理 ................................................................................................. 104
3.6.1 狀態分類 ...................................................................................... 104
3.6.2 托管的 Keyed State ...................................................................... 104
3.6.3 狀態后端配置 .............................................................................. 106
3.7 檢查點 ..................................................................................................... 107
3.8 思考題 ..................................................................................................... 108
第 4 章 批處理 API ...................................................................................... 109
4.1 批處理 API 概述..................................................................................... 109
4.1.1 程序結構 ...............................
大數據叢書深入理解FLINK:實時大數據處理實踐 作者簡介
國內首批持牌個人征信機構北京華道征信大數據高級架構師、技術總監,主持同業征信事業部系統與數據研發工作,負責消費信貸業務系統架構設計、風控模型架構設計、大數據風控服務平臺架構設計;承擔大數據與人工智能在金融領域應用的研究工作。曾就職于人行征信中心應收賬款融資登記團隊,主持央行動產融資登記服務系統與數據分析系統研發,領導國內動產融資登記服務領域行業門戶網站(中登網)建設。
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
小考拉的故事-套裝共3冊
- >
有舍有得是人生
- >
自卑與超越
- >
上帝之肋:男人的真實旅程
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
羅曼·羅蘭讀書隨筆-精裝
- >
巴金-再思錄