大數據開發實戰 版權信息
- ISBN:9787111756934
- 條形碼:9787111756934 ; 978-7-111-75693-4
- 裝幀:平裝-膠訂
- 冊數:暫無
- 重量:暫無
- 所屬分類:>>
大數據開發實戰 本書特色
本書深入講解大數據技術的核心概念和實際應用。
配套資源豐富,附贈
●長達13個小時的部分實例操作視頻
●全書實例源代碼
●電子版本教程
●PPT
大數據開發實戰 內容簡介
本書深入探討了大數據技術的核心概念和實際應用。從大數據的基礎架構Hadoop開始,逐步解析了分布式協調服務Zookeeper、數據倉庫Hive、面向列的數據庫HBase等關鍵技術。此外,還介紹了數據遷移工具Sqoop、數據采集工具Flume、發布訂閱消息系統Kafka等實用工具。本書還深入講解了數據處理分析引擎Spark、全文搜索引擎Elasticsearch及分布式處理引擎Flink的工作原理和應用實例。*后,通過電商推薦系統實戰和Flink實現電商用戶行為分析兩個案例,展示了大數據技術在實際業務中的應用。
本書附帶全書實例源代碼、電子版本教程(下載方式見封底),以及可掃碼觀看的長達13個小時的部分實例操作視頻,幫助讀者更深入了解大數據技術的具體內容,非常適合對大數據技術感興趣的讀者,尤其是想要深入了解大數據技術原理和應用的開發者和管理者閱讀。
大數據開發實戰 目錄
前言環境搭建視頻教程二維碼清單第1章大數據簡介1.1大數據的概述1.2大數據的特點1.3大數據的應用領域1.4目前企業應用的主流大數據技術1.5大數據開發流程第2章大數據基礎架構Hadoop2.1Hadoop簡介2.2Hadoop架構詳解2.2.1分布式存儲系統HDFS2.2.2分布式資源管理框架YARN2.2.3離線計算框架MapReduce前言環境搭建視頻教程二維碼清單第1章大數據簡介1.1大數據的概述1.2大數據的特點1.3大數據的應用領域1.4目前企業應用的主流大數據技術1.5大數據開發流程第2章大數據基礎架構Hadoop2.1Hadoop簡介2.2Hadoop架構詳解2.2.1分布式存儲系統HDFS2.2.2分布式資源管理框架YARN2.2.3離線計算框架MapReduce2.3HDFS讀、寫文件流程2.3.1HDFS寫文件流程2.3.2HDFS讀文件流程2.4HDFS的實戰操作2.4.1HDFS上傳文件2.4.2HDFS創建文件2.4.3HDFS創建目錄2.4.4HDFS重命名文件2.4.5HDFS刪除文件2.5YARN原理2.6YARN調度器詳解2.7MapReduce工作原理2.8MapReduce核心的原理Shuffle2.8.1Map端2.8.2Reduce端2.9MapReduce常用三大組件2.9.1MapReduce中的Partitioner2.9.2MapReduce中的Sort2.9.3MapReduce中的Combiner2.10MapReduce項目實戰2.10.1清洗日志2.10.2統計電影*高評分第3章分布式協調服務Zookeeper3.1ZooKeeper簡介3.2ZooKeeper結構和工作原理3.2.1ZooKeeper集群角色3.2.2ZooKeeper的數據結構3.2.3ZooKeeper的工作流程3.2.4ZooKeeper的監聽器3.3ZooKeeper實戰3.3.1ZooKeeper創建持久節點3.3.2ZooKeeper創建臨時節點3.3.3ZooKeeper遞歸創建節點3.3.4ZooKeeper讀取數據3.3.5ZooKeeper更新數據3.3.6ZooKeeper監聽節點3.3.7ZooKeeper監聽子節點3.3.8ZooKeeper實現服務注冊與發現第4章數據倉庫Hive4.1Hive簡介和特點4.2Hive結構和原理4.2.1Hive結構4.2.2Hive運行的流程4.2.3Hive的HQL轉換過程4.3電商用戶行為分析4.3.1項目背景及目的4.3.2數據導入4.3.3數據清洗4.3.4數據分析第5章面向列的數據庫HBase5.1HBase簡介5.2HBase架構5.2.1HBase的組件5.2.2HBase工作機制5.3HBase數據模型5.4HBase讀寫流程5.4.1HBase寫操作流程5.4.2HBase讀操作流程5.5HBase的API示例5.5.1HBase創建表5.5.2HBase保持數據5.5.3HBase更新數據5.5.4HBase獲取數據5.5.5HBase刪除數據5.5.6使用HBase獲取某一行數據5.6HBase存儲訂單案例第6章大數據開發實戰數據遷移工具Sqoop6.1Sqoop架構和工作原理6.1.1Sqoop導入原理6.1.2Sqoop導出原理6.2Sqoop將HDFS數據導入MySQL6.3Sqoop將MySQL數據導入HDFS第7章數據采集工具Flume7.1Flume簡介7.2Flume構成和工作原理7.2.1Flume構成7.2.2Flume工作原理7.3Flume實戰7.3.1Flume監聽目錄實戰7.3.2Flume一對多實戰7.3.3Flume攔截器實戰7.3.4Flume采集數據到HDFS7.3.5Kafka對接Flume實戰第8章發布訂閱消息系統Kafka8.1Kafka 簡介8.2Kafka的消息生產者8.2.1Kafka生產者的運行流程8.2.2Kafka生產者分區8.2.3副本的同步復制和異步復制8.2.4Kafka消息發送確認機制8.3Kafka的Broker保存消息8.3.1存儲方式與策略8.3.2Topic創建與刪除8.4Kafka的消息消費者8.4.1消費機制8.4.2消費者組8.5Kafka 的存儲機制8.5.1Kafka主題Topic8.5.2Kafka分片Partition8.5.3Kafka日志Segment File8.6Kafka 實戰8.6.1Kafka發送消息8.6.2Kafka自定義分區發送消息8.6.3Spring Boot整合Kafka發送消息第9章數據處理分析引擎Spark9.1Spark 簡介9.2Spark 運行原理9.2.1Spark的基本概念9.2.2Spark運行的原理9.2.3Driver運行在Client9.2.4Driver運行在Worker節點9.3Spark算子RDD9.3.1RDD的屬性9.3.2RDD的依賴關系9.3.3RDD的shuffle過程9.3.4RDD的緩存和檢查機制9.4Spark SQL9.4.1Spark SQL概念9.4.2Spark SQL的架構9.4.3DataSets和DataFrames9.4.4Spark SQL示例9.5Spark Streaming9.5.1Spark Streaming介紹/9.5.2DStream轉換操作9.5.3Spark Streaming窗口操作9.5.4DStream輸入9.5.5DStream 輸出9.5.6DSFrame和SQL操作9.5.7Spark Streaming檢查點9.6Spark Streaming接收Flume數據實戰9.7Spark Streaming接收Kafka數據實戰第10章全文搜索引擎Elasticsearch10.1Elasticsearch簡介10.2Elasticsearch架構和原理10.2.1Elasticsearch核心概念10.2.2Elasticsearch工作原理10.2.3Elasticsearch倒排索引10.3Elasticsearch實戰10.3.1Elasticsearch索引創建10.3.2Elasticsearch索引更新10.3.3Elasticsearch索引查詢10.3.4Elasticsearch索引刪除10.3.5Elasticsearch保存文檔10.3.6Elasticsearch更新文檔10.3.7Elasticsearch精確查詢10.3.8Elasticsearch模糊查詢10.3.9Elasticsearch范圍查詢10.3.10Elasticsearch布爾查詢10.3.11Elasticsearch聚合查詢10.3.12Elasticsearch高亮查詢10.4Elasticsearch實現搜索系統10.4.1搜索系統項目環境準備10.4.2Elasticsearch實現搜索功能第11章分布式處理引擎Flink11.1Flink 概述11.2Flink基本組件和運行時架構11.2.1Flink運行時架構11.2.2Flink的分層11.3Flink流處理流程11.3.1Flink環境設置(Environment)11.3.2Flink源算子(Source)11.3.3Flink支持的數據類型11.3.4
展開全部
大數據開發實戰 作者簡介
韋宇杰, 畢業于華南理工大學廣州學院,獲得了機械工程及自動化的學士學位,一位融合機械工程與自動化專業背景的資深程序員。作為一名資深程序員,在大數據領域深耕多年,積累了豐富的實戰經驗。他精通從數據采集、清洗、存儲到分析的全鏈條技術,擅長運用最前沿的工具和框架解決復雜的數據處理問題,讓龐大的數據集在他的手中煥發出前所未有的價值。他的職業生涯跨越了多個領域,不僅在大數據處理和系統開發方面表現出色,更在算法設計和模型構建上擁有深厚的專業知識。在數據處理、算法設計以及系統優化方面積累了豐富的經驗。他曾參與華為的應用系統經營分析系統的研發工作,期間他充分發揮了自己的算法訓練和模型設計能力,為項目的成功貢獻了關鍵的技術支持。這段經歷不僅證明了他在大數據處理領域的實力,也彰顯了他在算法和模型構建方面的專業素養。作為一位對技術充滿熱情的程序員,他深耕細作,苦練編程,善于總結,慢慢的形成了個人的編程風格,在數據處理、算法、系統布局等方面有自己獨特的見解和處理方式。本書是作者多年工作經驗的總結,以最貼近實際的案例幫助讀者更容易,更輕松,更深入地了解大數據開發。