掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
大數據技術與應用I 版權信息
- ISBN：9787113258139
- 條形碼：9787113258139 ; 978-7-113-25813-9
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
大數據技術與應用I 本書特色
本書教學設計遵循教學規律，對真實項目進行了科學拆分與提煉。主要內容分為Hadoop大數據技術基礎與Hadoop 大數據分析案例兩部分，前者包括大數據的有關概念、Hadoop 概述、Hadoop集群的部署與管理、HDFS、MapReduce編程以及Hadoop生態的其他常用組件ZooKeeper、HBase 、Hive 、Sqoop 、Flume 、Storm 、Kafka 的工作原理、安裝部署和使用方法，后者通過“基于云虛擬實訓平臺的學情分析系統”項目完整展示了大數據分析的過程。全書遵循“理論夠用、實用，實踐*”的原則選擇內容，編排合理，表述深入淺出，所有操作命令全部按序列出，并配有解釋和運行截圖，指導性、實用性強，能使讀者快速、輕松地掌握Hadoop大數據平臺運維和分析的基本技術。本書適合作為高等職業院校電子信息大類各專業學習Hadoop大數據技術的教材，也可作為培訓學校的培訓教材，還可作為大數據愛好者的自學用書。
大數據技術與應用I 內容簡介
本書教學設計遵循教學規律，對真實項目進行了科學拆分與提煉。
大數據技術與應用I 目錄
單元 1 大數據概述........................... 11.1 大數據的產生 .........................................11.1.1 大數據產生的原因 ................................11.1.2 大數據的發展歷程 ................................21.2 大數據的概念 .........................................31.2.1 大數據的定義 ........................................31.2.2 大數據的特征 ........................................31.2.3 大數據的構成 ........................................41.2.4 大數據的意義 ........................................41.3 大數據的基本處理流程 .........................51.4 大數據技術 .............................................61.4.1 大數據的技術層面 ................................61.4.2 大數據的計算模式 ................................71.4.3 大數據的技術路線 ................................71.4.4 大數據技術的應用 ................................71.5 大數據與云計算、物聯網的關系 .........81.5.1 云計算 ....................................................81.5.2 物聯網 ....................................................91.5.3 大數據與云計算、物聯網的關系 ......10 習題 .............................................................10 單元 2 Hadoop概述.......................112.1 Hadoop簡介 ..........................................112.1.1 Hadoop的起源及發展歷史 ..................112.1.2 Hadoop的設計思想和特性 ..................132.1.3 Hadoop的體系結構 ..............................132.1.4 Hadoop的生態系統 ..............................142.1.5 Hadoop的發行版本 ..............................162.1.6 Apache Hadoop的下載 ........................172.2 Hadoop系列實驗前的準備工作 ..........182.2.1 計算機軟硬件基本配置要求 .............182.2.2 大數據實驗軟件包介紹 ......................182.2.3 檢查實驗機是否支持虛擬化 ..............202.2.4 檢查在BIOS中是否已打開VT-x 功能 ......................................................21習題 .............................................................22單元 3 VＭware和CentOS的安裝....2３ 3.1 安裝VMware Workstation ....................233.1.1 VMware虛擬機簡介 ............................233.1.2 安裝VMware虛擬機 ............................243.2 創建虛擬機Master ...............................273.3 安裝CentOS ..........................................323.4 克隆虛擬機Slave..................................343.5 上傳Hadoop實驗軟件包到Linux 系統中 ...................................................36 3.6 常用的Linux操作系統命令和文本編輯器vi ................................................39 3.6.1 Linux操作系統常用命令 .....................393.6.2 文本編輯器vi .......................................41習題 .............................................................43單元 4 Hadoop集群的部署與管理......44 4.1 Hadoop的運行模式 ..............................444.1.1 計算機集群 ..........................................444.1.2 Hadoop的運行模式 ..............................464.2 配置Linux系統......................................484.2.1 說明 ......................................................484.2.2 配置時鐘同步 ......................................494.2.3 配置主機名 ..........................................504.2.4 配置網絡環境 ......................................514.2.5 關閉防火墻 ..........................................554.2.6 配置 hosts 列表 ....................................564.2.7 安裝JDK ...............................................584.2.8 配置免密鑰登錄 ..................................604.3 配置Hadoop ..........................................634.3.1 解壓Hadoop安裝包 ..............................644.3.2 在Master節點修改Hadoop配置文件 .....................................................64 4.3.3 在Master節點上配置Hadoop的系統環境變量 ......................................71 4.3.4 將已經配置好的Hadoop復制到其他節點上 ..........................................71 4.3.5 創建數據目錄 ......................................714.4 啟動 Hadoop 集群 ................................714.4.1 格式化文件系統 ..................................714.4.2 啟動Hadoop集群 ..................................724.5 測試Hadoop集群 ..................................734.6 監控Hadoop集群 ..................................744.6.1 監控HDFS ............................................744.6.2 監控Yarn ...............................................774.7 停止Hadoop集群 ..................................794.8 動態管理節點 .......................................794.8.1 增加節點 ..............................................804.8.2 刪除節點 ..............................................844.9 Hadoop的命令 ......................................86習題 ............................................................87單元 5 Hadoop分布式文件系統 HDFS.............................88 5.1 HDFS概述 .............................................885.1.1 HDFS簡介 ............................................885.1.2 HDFS的體系結構 ................................895.1.3 HDFS的概念 ........................................905.1.4 HDFS的存儲原理 ................................935.1.5 HDFS文件的讀寫過程 ........................945.1.6 HDFS高可用性 ....................................955.2 用命令方式實現HDFS常用操作.........965.2.1 HDFS的基本命令 ................................965.2.2 HDFS文件系統的操作 ......................1025.3 安裝與配置Eclipse集成開發環境 .....104 5.3.1 Eclipse開發環境介紹.........................1045.3.2 Eclipse的安裝和配置.........................1055.4 編程實現HDFS常用操作...................1125.4.1 HDFS Java API 簡介 ...........................1125.4.2 HDFS Java API 的一般用法 ...............1135.4.3 HDFS Java API 的編程實踐 ...............113習題 ...........................................................116單元 6 MapReduce....................1186.1 MapReduce概述 ..................................1186.1.1 MapReduce的設計思想.....................1196.1.2 MapReduce的體系結構.....................1196.1.3 MapReduce的工作過程.....................1206.1.4 MapReduce的工作過程示例—— 詞頻統計 ............................................123 6.2 YARN 概述..........................................1266.2.1 YARN 的設計思想 .............................1266.2.2 YARN 的體系結構 .............................1266.2.3 YARN 的工作流程 .............................1286.3 在集群中運行MapReduce任務 ..........1296.3.1 Hadoop官方示例包中的測試程序 ....129 6.3.2 提交MapReduce任務給集群運行.....129 6.4 在Eclipse中配置MapReduce環境 ......132 6.5 編寫MapReduce詞頻統計程序 ..........1346.5.1 MapReduce編程步驟.........................1346.5.2 編寫MapReduce詞頻統計程序.........1346.5.3 打包提交代碼運行 ............................136習題 ...........................................................137單元 7 分布式協調服務器ZooKeeper.....................1407.1 ZooKeeper概述 ...................................1407.1.1 ZooKeeper簡介.................................1407.1.2 ZooKeeper的體系結構......................1417.1.3 ZooKeeper的數據模型......................143 7.1.4 ZooKeeper的工作原理......................144 7.2 ZooKeeper集群安裝部署 ...................145 7.2.1 在Master節點上安裝ZooKeeper ......145 7.2.2 配置ZooKeeper屬性文件..................146 7.2.3 將Master節點上的ZooKeeper 安裝文件復制到Slave節點和Slave2節點上 .................................147 7.2.4 啟動 ZooKeeper 集群........................147 7.2.5 測試ZooKeeper集群..........................148 7.3 ZooKeeper的簡單操作 .......................149 7.3.1 使用zkServer.sh 腳本進行的操作 ......149 7.3.2 ZooKeeper的常用Shell命令 ..............151 習題 ...........................................................151 單元 8 分布式數據庫HBase..........1528.1 HBase概述 ..........................................152 8.1.1 HBase簡介 ..........................................152 8.1.2 HBase的數據模型 ..............................153 8.1.3 HBase的物理存儲 ..............................156 8.1.4 HBase的體系結構 ..............................157 8.1.5 HBase的工作原理 ..............................159 8.2 HBase集群的安裝部署 ......................160 8.2.1 在Master節點上安裝HBase...............160 8.2.2 在Master節點上配置HBase...............161 8.2.3 將HBase安裝文件復制到Slave 和Slave2節點上 .................................162 8.2.4 啟動HBase ..........................................163 8.2.5 驗證HBase ..........................................163 8.2.6 停止HBase ..........................................164 8.3 常用的HBase Shell命令.....................164 習題 ..........................................................170 單元 9 數據倉庫Hive....................1719.1 Hive概述 .............................................171 9.1.1 數據倉庫簡介 ....................................171 9.1.2 Hive簡介.............................................172 9.1.3 Hive的體系結構.................................173 9.1.4 Hive的工作原理.................................174 9.1.5 Hive的數據類型與存儲格式.............174 9.1.6 Hive的數據模型.................................176 9.2 Hive的安裝部署 ................................. 176 9.2.1 安裝Hive ............................................177 9.2.2 安裝配置 MySQL ..............................177 9.2.3 配置Hive.............................................182 9.2.4 啟動Hive安裝.....................................183 9.3 Hive Shell操作 .................................... 183 9.4 Hive數據導入的實例 ......................... 186 習題 .......................................................... 190 單元 10 Sqoop的安裝和使用...........19110.1 Sqoop概述 ......................................... 191 10.1.1 Sqoop簡介 ........................................191 10.1.2 Sqoop的工作原理 ............................192 10.2 Sqoop的安裝、配置和運行 ............. 194 10.2.1 安裝Sqoop ........................................194 10.2.2 配置MySQL連接器 .........................195 10.2.3 配置環境變量 ..................................195 10.2.4 啟動并驗證 Sqoop ...........................196 10.3 Sqoop的應用 ..................................... 198 10.3.1 從MySQL數據庫導入數據到HDFS中 ........................................198 10.3.2 從Hive或HDFS中導出數據到MySQL數據庫 .............................202 10.3.3 腳本打包 ..........................................203 習題 ........................................................... 204 單元 11 Flume.............................20511.1 Flume概述 ......................................... 205 11.1.1 Flume簡介 ........................................205 11.1.2 Flume的工作原理 ............................206 11.2 Flume的安裝配置 ............................. 210 11.2.1 下載安裝包并解壓 ..........................210 11.2.2 配置環境變量 .................................. 211 11.2.3 配置flume-env.sh 文件 ......................21111.2.4 驗證flume .........................................21111.3 Flume的常用操作命令 .....................21211.4 Flume的應用 .....................................21311.4.1 Flume的配置和運行 ........................21311.4.2 Flume的簡單實例 ............................215習題 ...........................................................216單元 12 流計算框架Storm...................21712.1 Storm概述 .........................................21712.1.1 Storm簡介 ........................................21712.1.2 Storm的工作原理 ............................21812.1.3 Storm的數據模型 ............................22012.2 Storm集群的搭建 .............................22112.2.1 在Master節點上安裝Storm .............22112.2.2 將Storm安裝文件復制到Slave、Slave2、Slave3節點 ............222 12.2.3 啟動Storm集群 ................................22312.2.4 測試Storm集群 ................................22312.3 向Storm集群提交任務 .....................224習題 ...........................................................225單元 13 Kafka.............................22613.1 Kafka概述 .........................................22613.1.1 Kafka簡介.........................................22613.1.2 Kafka的體系結構.............................22713.1.3 Kafka的工作原理.............................22813.1.4 Kafka使用場景.................................22913.2 安裝配置和使用Kafka .....................22913.2.1 安裝Kafka.........................................22913.2.2 配置Kafka.........................................23013.2.3 啟動并使用Kafka.............................230習題 ...........................................................233單元 14 基于云虛擬實訓平臺的學情分析系統...........................23414.1 項目簡介 ...........................................23414.1.1 唯眾云虛擬實訓平臺介紹 ..............23514.1.2 學情分析系統需求分析 ..................23514.1.3 學情分析系統數據庫設計 ..............24014.2 獲取云虛擬平臺日志內容 ...............24314.2.1 使用爬蟲獲取數據 .........................24314.2.2 將抓取的數據上傳到HDFS ............25314.2.3 使用MapReduce對數據進行清洗...256 14.3 創建封裝數據的javaBean ................25814.3.1 LoginLogBean.java （登錄日志） ..................................258 14.3.2 OperationLogBean.java （操作日志信息） ..........................260 14.4 數據清洗 ...........................................26414.4.1 數據標記與封裝（LoginLogParse.java） ..................264 14.4.2 數據標記與封裝（OperationLogParse.java）............265 14.4.3 數據清洗與輸出——登錄日志（LoginLogProcess.java） ..............265 14.4.4 數據清洗與輸出——操作日志（OperationLogProcess.java） ........267 14.5 對結果進行分析及可視化 ...............26814.5.1 ECharts介紹 .....................................26814.5.2 對清洗后的數據分析 ......................26914.5.3 使用ECharts展示 .............................273參考文獻 ....................................................308
展開全部
大數據技術與應用I 作者簡介
胡大威：1990年7月參加工作，1996年到武漢職業技術學院計算機學院任教至今，2012年晉升為教授。主持完成了2項省級課題和1項中國電子教育學會課題，2項省級課題在研；公開發表獨撰學術論文26篇，其中6篇在中文核心期刊上發表，9篇論文獲得中國職業技術教育學會和中國高等職業技術教育研究會優秀論文獎；主編了包括1本普通高等教育“十一五”國家級規劃教材（高職高專教育）在內的20本教材，總字數180萬字。湖北省級精品課程負責人、湖北省品牌專業負責人。校學術委員會委員。指導學生參加2017年全國職業院校技能大賽高職組“大數據技術與應用”賽項獲得一等獎，榮獲“優秀指導老師獎”。指導學生參加“藍橋杯”全國軟件專業人才設計與創業大賽多次獲得總決賽一、二、三等獎，指導學生參加第七屆全國信息技術應用水平大賽ITAT全國總決賽獲全國特等獎。孫琳 ：高級工程師，CCF會員。雙師型教師，省級教學團隊“軟件技術”專業教學團隊主要成員，一直在教學科研一線工作。工作以來，積極參與科研與教研活動，主持省市級教科研課題5項，其中CCF職業教育科研重點課題1項；編寫教材十余本，其中主編教材3本，副主編教材7本；以第一作者在各級刊物上公開發布論文8篇篇；指導學生參加藍橋杯全國軟件設計大賽獲得了全國總決賽二、三等獎。?
書友推薦
- >
月亮與六便士
- >
經典常談
- >
龍榆生：詞曲概論/大家小書
- >
二體千字文
- >
羅曼·羅蘭讀書隨筆-精裝
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
- >
李白與唐代文化
- >
隨園食單
本類暢銷
